Работа сайта в выдаче начинается не с текстов и не с рекламы, а с того, узнает ли поиск о существовании страниц. Sitemap собирает адреса страниц в один файл и держит поисковики в курсе того, как сайт устроен сейчас. Форматов поддерживается два — XML и простой текстовый. Отвечая на вопрос, что такое sitemap сайта, проще всего представить опись. Владелец ресурса сам перечисляет адреса, которые считает важными, и передаёт готовый список машине.
Поисковая система не гарантирует, что все указанные в файле адреса попадут в результаты поиска. Быстрее найти страницы файл помогает, а вот индексировать их или нет, поисковик решает без нас. Ниже разберём, какие задачи решает файл, кому он пригодится, как устроен, как его создают и подключают.
Зачем нужен sitemap сайта и как он влияет на индексацию
Краулер находит страницы двумя путями. Он переходит по внутренним ссылкам и приходит по внешним. Если страница не связана с остальным сайтом или лежит на пятом уровне вложенности, обнаружение затягивается на недели. Карта сайта sitemap снимает эту зависимость. Краулер получает список адресов сразу, без обхода всего дерева навигации.
Отдельно стоит вопрос ресурсов. Краулинговый бюджет означает объём страниц и файлов сайта, которые поисковая машина успевает изучить за определённый период. Он не бесконечен, и на крупных проектах бюджет легко израсходовать на служебные адреса, дубли с параметрами и пустые фильтры. Файл с перечнем актуальных адресов такой расход сокращает. Сканирование уходит не на второстепенное, а на страницы, которые приносят трафик, и индексирование от этого выигрывает.
Чего файл не делает, так это не поднимает позиции. В ранжировании он не участвует, и выдача от его появления сама по себе не меняется. Дело файла в обнаружении страниц, дальше работают релевантность и качество контента. Связь при этом прямая. Без индексации даже сильный материал невидим для поиска, поэтому вопрос, зачем нужна карта сайта, упирается не в позиции, а в доступ к ним.
Задачи, которые файл решает при обходе сайта:
- ускорить попадание новых страниц в базу поисковика;
- показать «сиротские» страницы, на которые не ведут внутренние ссылки;
- открыть глубоко вложенные каталоги, до которых обход доходит в последнюю очередь;
- помочь рационально расходовать краулинговый бюджет;
- передать дату обновления страницы и её относительный приоритет.
Какие бывают карты сайта
Под одним словом «карта» скрываются два разных документа с разными адресатами. Их часто путают, а требования и польза у них не совпадают. Различают карты и по способу обновления. Статические формируют один раз и правят руками, динамические пересобираются движком сайта при каждой публикации.
XML-карта для поисковых роботов
XML-карта служебная, посетителям она не показывается. Это структура сайта в sitemap: перечень адресов, к которым можно приписать дату обновления и значимость страницы. Такой файл и загружают в поисковые панели. Именно о нём спрашивают те, кто хочет разобраться, что такое sitemap xml и чем этот формат отличается от простого перечня адресов сайта. Простой текстовый формат, где на каждой строке стоит один адрес страницы, поисковик тоже примет, но рекомендованным называет XML. Дополнительная информация о сайте sitemap в этом формате идёт следом за адресами, а плоскому перечню приписать её негде.
HTML-карта для посетителей
HTML карта сайта свёрстана для людей. Это обычная страница, на ней перечислены разделы. Размещают её обычно в футере, нижней части сайта, а ссылку повторяют на странице 404, чтобы человек с несуществующего адреса ушёл не назад в поиск, а в нужный раздел. Как правило, туда выносят ключевые разделы, а не всё подряд. Тысяча пунктов не поможет ни читателю, ни машине. Навигация и поиск по сайту вытеснили этот приём, хотя на крупных каталогах он ещё работает.
Кроме базовой XML-карты есть специализированные, по типу контента:
- image sitemap передаёт роботу адреса картинок, размещённых на страницах;
- video sitemap: карта видео, через неё передают продолжительность ролика, рейтинг и возрастное ограничение;
- news sitemap несёт название статьи и дату публикации;
- индексный файл перечисляет отдельные карты и служит крупным проектам единой точкой входа.
Каким сайтам нужен sitemap, а каким можно обойтись без него
У Яндекса поводов три: страниц на сайте много, часть из них не собрана навигационными ссылками, вложенность глубокая. Документация Google «Общие сведения о файлах Sitemap» перечисляет свои: сайт крупный; сайт недавно запущен, и о нём почти не знают другие ресурсы; на сайте много видео, изображений или новостей.
Обратная сторона описана там же. Файл может не понадобиться сайту, на котором не больше 500 страниц для показа в поиске, с детальной внутренней перелинковкой и без медиаконтента. Само отсутствие sitemap.xml попадает в список возможных проблем сайта, а не критичных или фатальных. Но коммерческому сайту, от посещаемости которого зависит выручка, файл рекомендуют создать.
- карта нужна: интернет-магазину с тысячами карточек, порталу с глубокой вложенностью, новому сайту без внешних ссылок, медиа с большим архивом;
- карта избыточна: лендингу на пять экранов, визитке на десяток страниц со сквозным меню, где робот доходит до любого раздела за два клика.
Как устроен файл sitemap.xml: структура и требования
Если разобрать, что такое sitemap.xml изнутри, получится перечень блоков, по одному на каждую страницу. Блок открывается элементом url, а внутри стоят поля с данными. Понимать разметку до последней скобки владельцу бизнеса не нужно, но знать, какие поля обязательны, полезно. Именно на них мы ссылаемся, когда объясняем, почему часть страниц сайта робот игнорирует.
Обязательным является единственный тег loc, то есть сам адрес страницы. Три остальных отданы на усмотрение владельца. В lastmod пишут, когда страницу правили в последний раз, в changefreq заносят частоту изменений, в priority ставят коэффициент важности от 0.0 до 1.0. Отношение поисковиков к этой тройке разное. Пару changefreq и priority Google пропускает мимо, второй поисковик смотрит на них выборочно, так что вкладываться разумнее в loc и lastmod. Правильный sitemap для сайта держится на точном списке живых адресов, а не на аккуратно расставленных коэффициентах.
Что поисковые системы требуют от файла:
- сохранять в кодировке UTF-8;
- держаться в пределах 50 000 ссылок на один файл;
- не раздувать его свыше 50 МБ в несжатом виде;
- писать абсолютные адреса того же протокола и хоста, где лежит сам файл, а поддоменам заводить собственные карты;
- отдавать по адресу файла HTTP-код 200;
- перечислять только канонические адреса, ведь из нескольких похожих версий страницы в карту идёт основная.
Как создать sitemap для сайта
Способов три, и выбор зависит не от бюджета, а от того, как часто на сайте появляются страницы. Чем чаще меняется содержимое, тем важнее автоматическое обновление файла. Общая последовательность от инструмента не зависит. Сначала определяют канонические URL, затем формируют карту сайта, файл sitemap xml проверяют и только после этого сообщают его адрес поисковикам.
Плагины и модули CMS
В большинстве систем управления отдельный генератор не нужен: карта собирается штатным модулем или плагином и обновляется сама. В WordPress это чаще всего Yoast SEO, Rank Math или All in One SEO, в 1С-Битрикс — модуль «Поисковая оптимизация». Для двух самых распространённых случаев есть отдельные инструкции: sitemap в Битрикс и sitemap в WordPress через Yoast SEO.
Онлайн-генераторы
Внешний сервис обходит сайт по ссылкам, как это делает краулер, собирает найденные URL и отдаёт готовый XML. Файл затем загружают на хостинг руками. Ограничение у бесплатных версий одно и существенное. Обход разовый и лимитированный по числу страниц, новые адреса сами в файл не попадают. Сайту, где страницы появляются каждую неделю, такая карта быстро перестаёт соответствовать реальности, и лучше вернуться к модулю CMS.
Создание вручную
Написать XML в текстовом редакторе имеет смысл для маленького сайта на десяток-другой страниц или для самописного движка без готовых модулей. Структура повторяется от файла к файлу. Сначала заголовок с указанием кодировки, потом открывающий тег urlset и дальше блоки url с адресами. Ошибиться здесь легко, а пропущенная закрывающая скобка ломает разбор всего файла. Поэтому собранную руками карту важно прогнать через валидатор, а при каждой правке структуры сайта возвращаться к файлу и дописывать новые адреса.
Порядок действий по каждому способу:
- Плагин CMS: установить и включить модуль, отметить типы страниц для выгрузки, исключить служебные страницы и дубли, проверить адрес готового файла. Подходит магазинам, блогам, корпоративным сайтам на популярных движках.
- Онлайн-генератор: указать домен, дождаться обхода, выгрузить XML, положить его в корневую папку. Подходит сайтам с редко меняющейся структурой.
- Вручную: определить канонические адреса, оформить блоки url с тегом loc, сохранить в UTF-8, проверить валидатором. Подходит небольшим и нестандартным проектам.
Где разместить sitemap и как сообщить о нём поисковым системам
Место готового файла в корневой папке сайта. Тогда он открывается по предсказуемому адресу, что-то вроде https://example.com/sitemap.xml. Дальше о нём нужно сообщить, потому что сам себя он поисковику не покажет.
Директива Sitemap в robots.txt
В robots.txt под карту отводят отдельную строку с директивой Sitemap, за которой идёт полный адрес файла. Одна такая строка говорит сразу всем поисковым системам, и доступ к панелям для неё не нужен.
Отправка в Яндекс Вебмастер и Google Search Console
Мало создать файл — о нём нужно сообщить поисковым системам. Базовый способ один и тот же: указать адрес карты директивой Sitemap: в robots.txt, и робот найдёт файл при очередном обходе. Но надёжнее продублировать через панель вебмастера — тогда видно, когда файл прочитан, сколько адресов принято и есть ли ошибки.
Интерфейсы и статусы у поисковиков разные, поэтому каждый разобран отдельно: как добавить sitemap в Яндекс Вебмастер и как добавить карту сайта в Google Search Console.
Как проверить sitemap и какие ошибки встречаются чаще всего
После загрузки карту стоит проверить: доступна ли она по прямому адресу, отдаёт ли код 200 без редиректов, нет ли внутри закрытых от индексации или несуществующих страниц. Такие проблемы копятся незаметно — сайт живёт, страницы удаляются и переезжают, а в файле остаются старые адреса.
Пошаговый разбор с валидаторами, краулерами и таблицей типовых проблем — в материале как проверить sitemap.xml.
Разбор карты часто обнаруживает проблемы за её пределами, от дублей и потерянных каталогов до случайных запретов в robots.txt. Проверить это по всему сайту помогает технический SEO-аудит, в который входит проверка индексации и служебных файлов.
