Sitemap - как создать и где взять, как добавить и проверить

Главные функции Sitemap

С помощью Sitemap поисковая система может определять:

1. Где именно находятся те или иные документы.
2. Когда и с какой частотой осуществляются обновления.
3. Правильность и качество индексации сайта. 
4. Наличие дополнительных подсказок для ботов.

Карта сайта является каталогом разделов веб-ресурса. Главная страница в большинстве случаев располагает ссылкой на карту сайта. Sitemap в обязательном порядке должен содержать:

1. Краткое описание веб-ресурса;
2. Ссылки на наиболее значимые страницы.
3. Ссылочной панелью. 

HTML-карта для веб-ресурса

В принципе это своеобразное меню веб-ресурса, позволяющее представить информацию относительно структуры. Благодаря этому инструменту аудитория получает возможность быстрее находить необходимую информацию. Без карты сайт может обойтись только в условиях минимального количества страниц или, когда в принципе является одностраничником.

Для получения полноценной карты HTML, можно обойтись размещением на отдельной странице URL-ссылки к каждому разделу. После этого необходимо сохранить файл под названием sitemap.html. 

XML-карта

Данная карта реализуется при помощи специального XML-языка. Он создается для передачи данных в сжатом и структурированном формате. Именно этим пользуется поисковой робот. Если файлов sitemap.xml и роботс нет, то индексация может быть осуществлена неверно. Процесс сканирования может захватить что-то ненужное и не включить что-то действительно важное в индекс поисковой системы. Сделать аудит и проверить карты сайта можно по ссылке vashsite.com/sitemap.xml, так как она по сути является просто страницей сайта. Сайт может иметь несколько карт. Файлы хранятся в корне сайта. Успешное seo продвижения подразумевает правильную настройку sitemap.xml   

Документ Роботс (robots.txt) должен содержать список страниц (url нужных страниц), не нуждающихся в индексации. Но вместе с тем с помощью файла sitemap можно подсказать боту, каким образом он должен работать с теми страницами, которые остались. Обнаружив данный файл, робот в большинстве случаев сканирует проект в соответствии с инструкциями. За счет чего в индексе быстро появляется список необходимых страниц.

Для создания карты сайта при помощи большего количества базовых движков обходятся установкой специализированного модуля. Программное обеспечение самостоятельно, без непосредственного человеческого участия, способно выполнить поставленные задачи. Также в интернете есть абсолютно бесплатные онлайн сервисы, с помощью которых создаются карты. Если вы решили сделать файл sitemap собственноручно, тогда вам предварительно придется выучить язык программирования.

Оптимизация индексации XML Sitemap

Наличие нужных файлов - это еще не показатель успешности. Картой XML (как и другими аналогичными документами) надо уметь пользоваться. Без правильной настройки достичь повышения ключевых показателей эффективности SEO не получится.

Эксперты рекомендуют следующее:

1. Добавлять в XML-файлы Sitemap исключительно релевантные для SEO страницы
2. Корректировать список рекомендуемых к сканированию страниц (не факт, что бот выполнить предписание, но вероятность “подчинения” просьбам веб мастера высока).
3. Учитывать краулинговый бюджет, выделяемый для вашего сайта.
4. Поисковый бот считает, что страницы Карты сайта XML более важны для владельца ресурса, чем просто открытые, но внесенные в нужный список.

Фактически, файлы с картами используются для своеобразного диалога с интернет-машинами, отыскивающими полезный контент для своей коллекции ссылок. Наличие XML говорит о признательности к краулеру за сканирование и оценивание проекта с учетом приоритетов публикатора. Как, например, если сказать: “Спасибо, что заметили страницу с “красными платьями””. Взаимодействие с правильно настроенными картами сайта помогает распределять краулинговый бюджет и “назначать” главные зеркала. Одновременно с этим есть целый ряд ошибок, исключение которых служит сигналом для поисковых систем, о серьезности намерений публикатора. Сюда относится следующее:

1. Страницы с разными URL, но похожим контентом (неканонические).
2. Полные дубли записей, которые могут возникать при переносе сайта и по другим техническим причинам.
3. URL-адреса с избыточными параметрами (в том числе идентификаторы сеанса).
4. Результаты поиска по ресурсу.
5. Некоторые активные элементы призыва к действию (например, кнопка “поделиться”).
6. Документы, которые генерируются путем включения фильтров пользователем.
7. Статьи архива.
8. Перенаправления, связанные с ошибками 3??, 4??, 5??
9. Страницы, на которых стоит запрет на индексацию из файла robots.txt, в том числе с noindex.
10. Служебные записи, интересные для посетителей, но бесполезные с точки зрения поисковой оптимизации.

Почему надо так тщательно просеивать страницы перед добавлением их в карты сайта? Логика такова. Каждая запись, добавленная в индекс имеют оценку поисковой системы. Сайт, который содержит 1000 страниц, располагает документами разной значимости в глазах краулера. В итоге владелец сайта получает разные оценки от 1 до 5 при этом градация усиливается за счет добавления “++” или “+”, а также минусов по аналогии.

Если в файл карты сайта добавлять исключительно полезный контент с точки зрения поисковых краулеров, то оценка автоматически вырастет (из-за принципа расчета по среднему арифметическому). Но надо понимать, что суммарно site map в итоге может содержать не более половины всех записей.

С другой стороны, боты Гугл могут не ограничиваться только картой сайта для изучения всего ресурса. Поэтому в индекс попадают страницы, которые владелец не хотел бы видеть в рейтинге.