Статья обновлена!


Всем привет! Сегодня я решила написать статью об XML карте сайта, немаловажном элементе .

XML карта – это путеводитель по вашему сайту. Этот путеводитель создается специально для поисковых роботов и помогает им найти все страницы, которые нужно проиндексировать.

XML карта находится в корне вашего сайта и обычно доступна по адресу site.ru/sitemap.xml . Роботы узнают о ее существовании двумя путями (которые не взаимоисключают, а взаимодополняют друг друга):

  • Адрес карты сайта загружается через Вебмастер.
  • Ссылка на карту сайта есть в файле robots.txt.

Преимущества XML карты сайта:

  • помогает найти и проиндексировать все важные страницы сайта;
  • в Вебмастере Google можно посмотреть соотношение количества страниц в sitemap к количеству проиндексированных страниц, а также увидеть ошибки, возникшие при индексации;
  • XML карта – один из способов борьбы с дублированным контентом: когда робот обнаруживает 2 одинаковые страницы, скорее всего он проиндексирует именно ту, которая указана в карте.

Какую информацию содержит XML карта

Прежде всего, карта сайта содержит список страниц сайта – это обязательно. Также она может содержать параметры этих страниц , такие как:

    • Дата последнего изменения
    • Частота изменений (always, hourly, daily, weekly, monthly, yearly, never);
    • Приоритет – степень важности страниц сайта при индексации, устанавливается от 0.0 до 1.0. Чем выше приоритет, тем важнее данная страница в пределах сайта.

Как сделать XML карту сайта?

Карту сайта можно сделать самому вручную, но согласитесь, зачем тратить на это время, если есть бесплатные онлайн генераторы XML карт? Ниже я рассмотрю некоторые из них.

Бесплатные сервисы генерации XML карты сайта

Cy-pr.com


Один из самых простых в использовании сервисов генерации XML карты. Здесь достаточно указать только адрес сайта и нажать кнопку «Создать». Но такая простота является и минусом: в карту включаются и ссылки на картинки, и динамические адреса страниц.

Seolib.ru


Тут есть ограничение 5 раз в сутки с одного IP. Учитывает тег noindex. Также можно указать запрещенные к обходу пути в виде конкретных адресов страниц. Мне кажется, это не очень удобно, особенно, если таких страниц много. При генерации XML карты этот тул включает ссылки на картинки.

Mysitemapgenerator.com


Учитывает директивы в robots.txt, noindex, пропускает ссылки с атрибутом nofollow. Также присутствует функция фильтра данных, которая позволяет убрать из карты страницы с определенными частями в адресе (например, .jpg). Правда, в бесплатной версии доступен только один такой фильтр. Также бесплатная версия позволяет загружать максимум 500 страниц и генерировать 3 XML карты в день с одного IP адреса.

Getrank.org


Бесплатная версия этого генератора ограничивает количество страниц до 500. Полезная функция – исключение динамических параметров при генерации XML карты. Лично мне этот тул понравился тем, что он по умолчанию не включил картинки, когда я его тестила.

Web-site-map.com


Здесь с одного IP адреса можно генерировать одну XML карту в день. Как и предыдущий сервис, этот позволяет исключать урлы с указанными параметрами, а также по умолчанию не добавляет ссылки на картинки. Примечательно, что этот сервис позволяет включать и поддомены в XML карты, единственное условие: эти поддомены должны быть добавлены в Google Webmaster Tools. Обратите внимание, что в бесплатной версии адрес сайта нужно вводить без слэша “/”. Этот сервис также помогает , так что после генерации карты появляется 2 ссылки на скачивание: на саму XML карту и на список битых ссылок, найденных при ее генерации.

Что делать потом?

После генерации карты, стоит ее проверить: не остались ли там лишние страницы, которые не нужны в индексе (например, те, которые исключены в robots.txt). Правильность составления карты можно проверить с помощью специального

Мы выпустили новую книгу «Контент-маркетинг в социальных сетях: Как засесть в голову подписчиков и влюбить их в свой бренд».

Карта сайта Sitemap XML

Карта сайта (Sitemap) – это специальный файл в формате.xml, хранящийся в корневой директории сервера. Владельцы сайтов нередко интересуются – зачем нужен Sitemap и влияет ли наличие/отсутствие этого документа на поисковое продвижение? Чтобы ответить на эти вопросы, рассмотрим назначение и структуру карты сайта.

Итак, зачем нужен xml Sitemap, что он собой представляет? Карта сайта – это своеобразный каталог, состоящий из перечня ссылок, ведущих на все разделы и страницы сайта. Файл Sitemap помогает поисковым системам более быстро и качественно индексировать интернет проект. Это особенно важно в том случае, если объем web-ресурса исчисляется тысячами или десятками тысяч страниц.

Больше видео на нашем канале - изучайте интернет-маркетинг с SEMANTICA

Это важно! В карту сайта следует включать только те страницы, которые должны быть в поисковом индексе. Документы с запрещенной к индексированию или служебной информацией не следует вносить в Sitemap. В карту сайта также не включают страницы с тегами и динамические URL-адреса.

Влияет ли Sitemap на продвижение?

Поисковики не будут пессимизировать интернет проект за отсутствие этого файла. Теоретически, робот должен самостоятельно просканировать все страницы сайта и включить их в поиск. Однако нужно учитывать, что система может дать сбой и не найти некоторые web-документы. Обычно «проблемными местами» становятся разделы, в которые можно попасть только по длинной цепочке ссылок, и динамически создаваемые URLы.

С точки зрения SEO, Sitemap имеет определенное влияние, поскольку карта сайта значительно ускоряет индексацию. К тому же повышается вероятность, что web-страницы попадут в индекс до того, как недобросовестные конкуренты успеют скопировать и опубликовать контент. Поисковые системы отдают предпочтение первоисточнику, тогда как копипаст подвергается пессимизации.

Как создать сайт мап

Проще всего воспользоваться одним из специализированных сервисов. К примеру, online-генератор http://www.mysitemapgenerator.com/ позволяет бесплатно сделать карту сайта, размером до 500 страниц. Предусмотрена возможность платной генерации Sitemap без каких либо ограничений. Вебмастеру потребуется всего лишь указать адрес своего сайта, а затем поместить полученный файл в корневой папке сервера.

Можно воспользоваться программой SiteMap Generator. В поле http:// следует завести адрес стартовой страницы сайта, кликнуть по клавише «start» и подождать, пока будет сформирована карта сайта. Затем нужно перейти на вкладку «Google Sitemap/XML», скопировать полученный код и вставить его в файл формата.xml.

Файл sitemap xml – доступные директивы

  • Параметр Lastmod указывает роботу, когда документ последний раз обновлялся.
  • Тег priory указывает на приоритет документа, по отношению к другим страницам сайта.
  • Параметром loc обозначают URL адрес страницы.
  • Тег changefreq используется для обозначения динамичности страниц (документы с параметром «0» робот будет посещать очень редко).

Как сообщить поисковику о карте сайта

Чтобы оповестить Яндекс, можно добавить директиву sitemap в файл robots.txt. Код будет выглядеть следующим образом:

Sitemap: http://yoursite.ru/sitemap.xml

Кроме того, можно передать карту сайта через интерфейс Яндекс.Вебмастер. Для этого нужно перейти на вкладку «Настройка индексирования» >> «файлы Sitemap», а затем указать системе адрес карты сайта.

Аналогичным образом можно оповестить Google. В панели инструментов для вебмастеров нужно перейти на вкладку «Сканирование» >> «файлы Sitemap».

Вы просто кретин, если в свое время не уделили сайтмапу нужное внимание. Достаточно один раз разобраться в вопросе и в будущем избежать большого количества ошибок, что давайте сейчас и сделаем.

Ваш покорный слуга в годы младые также был таким кретином, когда только начал продвигать сайты в одной конторе. Попался мне в то время один сайтец на продвижение, который, следует сказать, был просто гавном. И у этого гавна были проблемы с индексацией. Естественно, будь сайт достаточно качественным, его бы оба поисковика индексировали несмотря ни на какие проблемы, но владельцы жались на нормальных дизайнера, верстальщика и программиста, а в этом случае сеошнику остается только, так сказать, открывать бутылку при помощи ножниц. Я перепробовал на нем все — и настройку last-modified, и ускорение индексации модным в то время фастботом, и покупку ссылок. И только потом оказалось, что дело было в том, что там не обновлялся автоматически сайтмап! Когда я его обновил — все страницы влетели в индекс.

Что такое sitemap и зачем он нужен

Что такое sitemap? Это файл с информацией о страницах сайта, которые нужно индексировать. Обычно sitemap создают для Яндекса и Гугла, чтобы оповестить поисковых роботов о страницах, которые нужно внести в индекс. Ещё при помощи сайтмапа осуществляется проверка того, как часто происходят обновления, и индексация каких веб-документов является наиболее важной. В целом очень хорошо о нем рассказали на Вебмастерской Яндекса:

Влияет ли наличие sitemap на продвижение

Если у вас отсутствует сайтмап, это не означает, что поисковики не станут индексировать ресурс. Поисковые роботы зачастую и без этого неплохо сканируют сайты и включают их в поиск. Но иногда могут возникать сбои, из-за которых порой удается отыскать не все веб-документы. Основными причинами являются:

  1. Разделы сайта, в которые можно попасть, только совершив длинную цепочку переходов;
  2. Динамические URL-адреса.

Так вот, создание sitemap.xml во многом помогает решить эту проблему. Этот файл влияет на SEO лишь постольку, поскольку облегчает/ускоряет индексацию страниц. Также возрастает шанс того, что веб-страницы проиндексируются до того, как ваши конкуренты смогут скопировать контент, опубликовав его у себя на сайте.

В каком еще формате бывает карта сайта и почему её делают в формате XML

Зачем нужна карта сайта, мы разобрались. Теперь давайте рассмотрим, в каких форматах её можно сделать:

  1. В формате html. Создается в виде обыкновенной страницы с адресами, ведущими на главные разделы ресурса. Такой тип карты помогает быстро сориентироваться, и рассчитан в большей степени на людей, чем на поисковых роботов. В HTML sitemap можно поместить ограниченное число ссылок (не более 100), ведь если их окажется больше, то не все они попадут в индекс. Или же поисковые роботы могут и вовсе исключить такую страницу из поиска за чрезмерное число URLов, пусть даже и внутренних.
  2. Создание xml-файла sitemap. Здесь нет слишком критичных ограничений по количеству ссылок, а поисковики лучше его индексируют, ведь файл sitemap xml-формата содержит полную информацию в понятном для робота виде. Особенно он важен для проектов, где имеются сотни и тысячи документов одинаковой важности, и размещение всех ссылок на них необходимо. В сайтмап такого типа есть возможность разместить до 50 тысяч URLов и помимо этого можно выставить частоту обновлений и приблизительный приоритет (priority), чего не скажешь о карте в формате HTML. Именно по этим причинам сайтмап почти всегда создают в xml.

Вот еще инфа об этом файле:

Как сделать правильный sitemap

Рассмотрим, как сделать правильную xml-карту. Здесь должны быть соблюдены следующие требования:

  1. Размер файла должен быть не больше 10 мб;
  2. Карта должна содержать не больше 50000 ссылок. В тех случаях, когда ссылок больше, можно создать несколько карт и включить их в главную xml-карту;
  3. Адрес сайтмапа следует прописать в robots.txt;
  4. Также загрузите sitemap в яндекс и гугл (как добавить файл – описано ниже);
  5. Поисковые системы должны иметь доступ к карте. Необходимо использовать специальные теги, которые дают поисковикам понять, что это именно карта, а не что-то другое;
  6. У sitemap должна быть кодировка UTF-8.

Приведу простой пример карты:

http://site.ru/ 2016-11-20T19:45:08+03:00 always 0,9 http://site.ru/category/ 2016-11-20T19:46:38+03:00 monthly 0,6 http://site.ru/page/ 2016-11-20T19:48:41+03:00 yearly 0.4

< url >

< loc > http : //site.ru/

< lastmod > 2016 - 11 - 20T19 : 45 : 08 + 03 : 00 < / lastmod >

< changefreq > always < / changefreq >

< priority > 0 , 9 < / priority >

< / url >

< url >

< loc > http : //site.ru/category/

< lastmod > 2016 - 11 - 20T19 : 46 : 38 + 03 : 00 < / lastmod >

< changefreq > monthly < / changefreq >

< priority > 0 , 6 < / priority >

< / url >

< url >

< loc > http : //site.ru/page/

< lastmod > 2016 - 11 - 20T19 : 48 : 41 + 03 : 00 < / lastmod >

< changefreq > yearly < / changefreq >

< priority > 0.4 < / priority >

< / url >

Теги url и loc являются обязательными. В первом прописывают все сведения о конкретном URL. Во втором прописывается сам адрес.

Теги lastmod, changefreq, priority не являются обязательными, но использовать их всё же рекомендуется.

Lastmod в sitemap отвечает за дату последнего обновления.

Changefreq указывает на частоту изменений страницы. Значения могут быть следующими:

  1. Hourly – обновление ежечасно;
  2. Always – всегда обновляется;
  3. Weekly – обновляется раз в неделю;
  4. Daily – обновления происходят ежедневно;
  5. Monthly – обновления происходят раз в месяц;
  6. Yearly – один раз в год;
  7. Never – не обновляется (такое значение лучше не использовать).

Priority сообщает поисковикам о степени важности страницы, по сравнению с другими. Приоритет можно выставлять от 0,1(низкий) до 1(высокий).

Это был только пример карты, не нужно указывать именно эти значения. Вообще, priority рекомендуется расставлять следующим образом: максимальный для главной страницы (1), для рубрик средний (0,6), а для записей – минимальный (0,4).

Теперь рассмотрим пример, когда ссылок более 50 тысяч. В этом случае файл включает в себя другие карты:

http://site.ru/sitemaps/sitemap01.xml 2016-11-20T21:37:28+03:00 http://site.ru/sitemaps/sitemap02.xml 2016-11-20T21:37:29+03:00

< sitemap >

< loc > http : //site.ru/sitemaps/sitemap01.xml

< lastmod > 2016 - 11 - 20T21 : 37 : 28 + 03 : 00 < / lastmod >

< / sitemap >

< sitemap >

< loc > http : //site.ru/sitemaps/sitemap02.xml

< lastmod > 2016 - 11 - 20T21 : 37 : 29 + 03 : 00 < / lastmod >

< / sitemap >

Как создать карту сайта

Способов создания xml-карты несколько, рассмотрим их:

  1. Скачать карту при помощи онлайн генератора с другого ресурса;
  2. Сгенерировать при помощи специальной программы. Но стоит учесть, что программы подобного рода в основном платные. Пример такого генератора: Wonder WebWare SiteMap Generatior. В Screaming Frog также есть такая возможность;
  3. Создать сайтмап вручную;
  4. Автоматически создать карту при помощи CMS (например на WordPress доступна такая функция).

Вот вариант, как сделать сайтмап без помощи плагинов:

Плагины для создания sitemap на WordPress

Сделать карту сайта в WordPress можно с помощью специального плагина, который называется Google XML Sitemaps. Здесь все просто: скачиваем плагин, устанавливаем, затем приступаем к созданию файла. Для этого открываете Консоль-Настройки, и выбираете XML-sitemap. Далее выставляем настройки. Приоритет оставляем по умолчанию.

С помощью нашего генератора карты сайта создайте файлы в формате XML, которые могут быть представлены в Google, Яндекс, Bing, Yahoo и других поисковых системах, чтобы помочь им индексировать ваш сайт.

Сделайте это за три простых шага:

  • Введите полный URL веб-сайта в форму.
  • Нажмите кнопку "Начать" и дождитесь, пока сайт полностью просканируется. При этом Вы увидете полное количество работающих и неработающих ссылок.
  • Нажав кнопку "Sitemap.xml", сохраните файл в удобном месте.

    • Sitemap – это карта сайта в формате XML, который В 2005 году поисковик Google стал использовать для индексации страниц сайтов. Файл Sitemap представляет собой способ организации веб-сайта, выявление адреса и данные по каждому разделу. Ранее карты сайта в основном были направлены для пользователей сайта. Формат XML был разработан для поисковых систем, что позволяет им найти данные быстрее и эффективнее.

    Новый протокол Sitemap был разработан в ответ на увеличения размера и сложности веб-сайтов. Бизнес-сайты часто содержат тысячи продуктов в своих каталогах, популярность блогов, форумов, досок объявлений вынуждают вебмастеров обновлять свои материалы, по крайней мере один раз в день. Поисковым системам все труднее отслеживать весь материал. Через протокол XML поисковые системы могут более эффективно отслеживать адреса, оптимизируя их поиск путем размещения всей информации на одной странице. XML также показывает, как часто обновляется определенный веб-сайт, и записывает последние изменения. XML карты не являются инструментом для поисковой оптимизации. Это не влияет на ранжирование, но это позволяет поисковым системам сделать более точные рейтинги и поисковые запросы. Это происходит путем предоставления данных, удобных для считывания поисковыми системами.

    Общее признание протокола XML означает, что разработчикам веб-сайтов больше не нужно создавать различные типы карт сайта для различных поисковых системах. Они могут создать один файл для представления, а затем обновить его, когда они внесли изменения на сайте. Это упрощает весь процесс тонкой настройки и расширения веб-сайта. Сами Вебмастера начали видеть преимущества использования этого формата. Поисковые системы ранжируют страницы в соответствии с релевантностью содержания конкретных ключевых слов, но до формата XML часто содержимое страниц не было правильно представлено. Это часто расстраивает вебмастерам, которые понимают, что их усилия по созданию веб-сайта были оставлены незамеченными. Блоги, дополнительные страницы, добавление мультимедийных файлов занимают несколько часов. Через файл XML эти часы не будут потрачены впустую, их увидят все известные поисковые системы.

    Чтобы создать свой Sitemap в формате XML и держать поисковые системы в курсе всех изменений вашего сайта, попробуйте наш бесплатный генератор карты сайта.

    Мы выпустили новую книгу «Контент-маркетинг в социальных сетях: Как засесть в голову подписчиков и влюбить их в свой бренд».

    Наличие xml карты сайта () на сервере - стратегически важно для оптимизации. Карта хранит в себе структуру актуальных страниц вашего ресурса и служит для того, чтобы поисковые роботы быстрее ориентировались по сайту, а ваши страницы быстрее индексировались. Иными словами: карта сайта указывает поисковым роботам кратчайший путь к страницам. Вот такая карусель.

    Что конкретно находится в карте сайта?

    Файл sitemap. xml содержит не только url страниц, но и дополнительную информацию каждой страницы:

    • дату последнего изменения;
    • частоту изменения;
    • приоритетность на уровне сайта.

    Естественно, прописать ручками этот файл очень трудно. Особенно если у вас большой интернет-магазин. Для упрощения жизни был разработан онлайн генератор карты сайта (sitemap generator online) , который выполняет всю рутинную работу за вас.

    На данный момент существует достаточно много ресурсов для генерации карты, в этой статье я расскажу о наиболее популярных онлайн генераторах .

    Как сгенерировать sitemap и как работает эта адская система?

    Практически все сервисы о нлайн генерации карт сайта работают по одному и тому же принципу. Даже интерфейс примерно везде один и тот же, отличается только стиль оформления и расположение кнопок управления.

    Итак вы заходите на типичный онлайн генератор… что вы скорее всего увидите? Правильно! Поле ввода url. Вставляем нужный нам сайт. Для примера будем использовать генератор карты сайта cy-pr.com.

    Вводим адрес нашего сайта, выбираем частоту обновления (если оно вам надо), также для удобства можно использовать дату последнего обновления (чтобы запомнить когда создавалась карта) и нажимаем кнопку «Создать».

    После нажатия происходит волшебство! Вы сможете наблюдать как трудолюбивый сервис бегает по вашему сайту, записывая каждую страницу в файлик. После такого марафона генератор карты выдает вам всю свою рукопись с описанием каждой страницы:

    Теперь нам нужно ее сохранить. Для этого открываем блокнот, вставляем туда наш код, который нам дала адская система, нажимаем «сохранить как», далее вводим имя файла « sitemap.xml », выбираем тип «все файлы», выбираем кодировку utf-8 и нажимаем кнопку «сохранить».

    Мы получили файлик sitemap.xml:)

    Будьте внимательны с регистрами! Название карты сайта должно быть в нижним регистре

    Если вы все сделали правильно то получите такой файлик:

    Важно помнить, что карта сайта не резиновая - потолок 50 000 url. Готовую карту можно скидывать на сервер. Главное, не забудьте прописать в robots, что у вас есть карта! Роботы вредные и не будут ее сами искать:)

    Если вы решили не использовать сервисы онлайн генерации карты сайта , а захотели пойти по хардкору и написать все сами, то вам следует знать каждого из этого списка:

    1. - Тег в котором указывается данные об url
    2. - В этом теге заключаются данные о многих url
    3. - Используется для указания url
    4. - Хранит дату последнего изменения
    5. - Данные о частотности изменения (могу использоваться атрибуты « always, hourly, daily, weekly, monthly, yearly, never» )
    6. Описывает приоритет страницы по сравнению с другими (от 0.1 - холоп до 1 - царь)

    , и являются обязательными, остальные могут не использоваться.

    Могучий пример

    //сайт/ 2016-06-09T11:46:13+04:00 always 1.0 //сайт/category/ 2016-06-09T11:46:13+04:00 hourly 0.8 //сайт/page/ 2016-06-09T11:46:13+04:00 daily 0.6

    Не царское это дело, файлики сохранять

    Конечно, не все онлайн генераторы дают вам код, многие генерируют готовую карту сайта в виде файла « sitemap.xml », вам остается лишь скачать ее и закинуть в корень сайта.

    А если вы чувствуете, что работа с файлами это вообще не для вас…

    Решение есть! Sitemap generator для админки без регистрации и смс. Рассмотрим подробнее на примере админки wordpress.

    Плагин « Карта сайта» используется для небольших проектов, он выводит не такую подробную информацию как онлайн генераторы холопских файлов, но все же работает.

    Для установки переходим в раздел меню плагины > установленные > добавить новый

    В поиске вводим «Google sitemaps»

    Устанавливаем данный плагин, активируем и (Бац! Wow!) карта сайта создана. Ее можно дополнительно настроить вручную (если вам это понадобиться). Также существует множество других плагинов для генерации карты сайта. Не только для WP, но и для других CMS и с каждым днем их больше и больше.

    Генератор sitemap xml: с оветы

    • При создании карты сайта не стоит забывать о размере. Если файл весит больше 10 мб, рекомендуется его разбить на несколько частей. Тем самым вы избавите сервер от перегрузок.
    • Все url необходимо писать единообразно (с www либо без www)
    • Файл карты сайта должен иметь кодировку UTF-8
    • Всегда указывать на пространство имен языка XML xmlns="