Проверка сайта на наличие sitemap занимает минуту. Откройте домен с добавкой /sitemap.xml и взгляните, отдаёт ли сервер XML-структуру. Карта сайта – это файл со списком адресов, по которому робот узнаёт о страницах и быстрее их обходит. Индексацию она не гарантирует.
Технический аудит начинается с этого файла. Файл либо отсутствует, либо ведёт на другой адрес, либо перечисляет страницы, которых давно нет.
Где находится sitemap.xml и как его найти
Обязательного места у файла нет, но сложилась практика размещать его в корневой каталог. Поиск начинают со стандартного адреса, а если там пусто, идут в служебный файл и кабинеты поисковых систем.
Стандартный адрес и индексный файл sitemap
Чтобы открыть sitemap сайта, наберите в адресной строке домен и /sitemap.xml. Дерево тегов вместо HTML-вёрстки означает, что карта есть. Подмена главной страницей говорит об обратном.
Где лежит sitemap и как узнать sitemap xml сайта, скажет robots.txt. По стандартному адресу часто лежит не список страниц, а индексный файл. Он открывается тегом sitemapindex и ссылается на вложенные карты по типам контента: отдельно страницы, товары, статьи. Такой документ нужен, когда адресов много. По протоколу Sitemap один файл содержит не более 50 000 адресов и весит не более 50 МБ в несжатом виде. За этим лимитом карту разбивают на части и объединяют индексом.
Расширение .xml не обязательно: карту размещают и по адресу /sitemap.php.
Директива Sitemap в robots.txt
Второй способ найти на сайте файл sitemap ведёт через /robots.txt. Адрес карты прописывают директивой Sitemap, и таких строк бывает несколько. На User-agent она не завязана: строка Sitemap показывает, где найти файл sitemap на сайте.
Панели вебмастеров, CMS и оператор site
Третий способ ведёт в кабинеты поисковых систем. У Яндекса это страница «Файлы Sitemap» с адресом файла и его статусом, а Search Console выводит число отправленных и проиндексированных страниц.
Разница этих чисел и есть первый сигнал, что с содержимым что-то не так. Оператор site: показывает, сколько страниц уже в индексе. Расхождение с числом адресов в файле в большую сторону выдаёт индексацию мусора, в меньшую говорит о том, что важные страницы не взяты. Ясно и то, как посмотреть карту сайта sitemap вместе с выдачей.
Когда файла нет вовсе, его создаёт движок или плагин, например Yoast SEO для WordPress. Взять готовый файл sitemap для сайта, где его не было, проще всего этим путём.
Вот что даёт проверка:
- Что это. Список адресов в формате протокола Sitemap. Сообщает о страницах и ускоряет их обнаружение.
- Скорость обхода. Новые разделы попадают в очередь быстрее, чем по внутренним ссылкам.
- Контроль за мусором. Видно, что вы отдаёте поисковикам: туда утекают корзина и результаты внутреннего поиска.
- Диагностика. Прогон краулером вскрывает битые ссылки и переадресации.
Как проверить sitemap.xml: пошаговая инструкция
Проверка sitemap сайта идёт в три уровня. Сначала сам файл, затем реакция поисковиков и адреса внутри. Безупречный по синтаксису документ может состоять из страниц с 404, поэтому пропускать уровни не стоит.
Проверьте доступность и структуру файла вручную
Чтобы проверить sitemap на сайте вручную, начните с доступности. Файл открывается без авторизации, отдаёт код 200, не уходит в редирект и не подменяется главной. Это видно на вкладке Network.
Дальше структура. Протокол Sitemap требует кодировку UTF-8, теги urlset с пространством имён и запись url с дочерним loc на каждый адрес. Ссылки абсолютные и с одного хоста, спецсимволы экранированы, длина значения loc не более 2048 символов, 1024 из них уходит на домен. Так же понятно, как посмотреть sitemap сайта подрядчика:
- Откройте файл по прямому адресу: должен открыться XML.
- Посмотрите код ответа сервера, нужен 200 без переадресаций.
- Посмотрите статус в панели вебмастера и сводку Search Console.
- Прогоните содержимое через валидатор sitemap.
- Выгрузите адреса, прогоните краулером и разберите отчёт.
- Исправьте причину в генераторе, запросите переобход.
Проверьте карту в Яндекс Вебмастере и Google Search Console
Добавленный файл загружается в течение двух недель. Каждый вложенный документ обрабатывается отдельно. Изменённый файл удалять и загружать заново не нужно, система сверяет его сама.
Напротив файла стоит один из четырёх статусов: «OK», «Редирект», «Ошибка» или «Не проиндексирован». Первый значит, что робот принял карту, второй о переадресации, третий об ошибке сборки, четвёртый о недоступности.
Search Console показывает вторую половину картины: сколько адресов отправлено и сколько взято в индекс. Про отправку на стороне Google подробно рассказано в материале про карту сайта в Google Search Console. Отправлено 12 000, проиндексировано 400, дело обычно в качестве страниц.
Используйте онлайн-валидаторы и краулеры
Три типа инструментов дают полную картину. Панели показывают реакцию поисковика, валидатор XML находит ошибки синтаксиса, краулер опрашивает адреса из карты. По отдельности каждый видит только свой участок.
Онлайн-анализатор в Яндекс Вебмастере принимает карту тремя способами: содержимым текстом, загрузкой XML-файла или адресом. Сторонние сервисы работают по ссылке без регистрации, этого хватает, чтобы проверить sitemap на ошибки формата.
Краулер вроде Screaming Frog опрашивает каждый адрес и показывает коды ответа. Так удаётся проверить sitemap xml сайта целиком, а не по первым строкам.
Разберите результаты: недоступные URL, редиректы, дубли и лимиты
Правило простое. Каждый адрес в карте – это доступная, индексируемая и каноническая страница. Всё прочее лишнее, включая 404 и 5xx, редиректы, noindex, дубли и служебные разделы.
| Проблема | Как проявляется | Чем мешает | Что делать |
|---|---|---|---|
| Битые ссылки | 404 или 5xx | Обход уходит в пустоту | Убрать адреса, починить страницы |
| Переадресации | 301 или 302 вместо 200 | Лишний шаг до конечного адреса | Ставить сразу конечные адреса |
| Дубли | Один материал под разными адресами | Сигналы размываются между копиями | Оставить канонический адрес |
| Страницы с noindex | Адрес есть, но закрыт метатегом | Сигналы противоречат друг другу | Снять запрет либо убрать из файла |
| Ошибки формата | Нет UTF-8, неэкранированные & < > | Файл не парсится | Исправить в генераторе |
| Превышение лимитов | Больше 50 000 URL или 50 МБ | Файл не принимается | Разбить, собрать индексом |
Отдельно смотрите на противоречие сигналов. Адрес из карты, закрытый директивой Disallow, соединяет просьбу зайти и запрет входа. Убирают одно из двух.
Исправляют найденное в генераторе, в модуле движка или шаблоне экспорта. Правка руками оправдана только до автообновления.
Как часто проверять и обновлять sitemap.xml
Обновлять карту нужно при каждом добавлении или удалении страниц. У большинства CMS этим занимается генератор, и задача сводится к тому, чтобы автоматическое обновление sitemap работало. Как проверить sitemap после правок на стороне Яндекса, разобрано в материале про обновление файла sitemap.
Плановую проверку обычно проводят раз в месяц, внеплановую – после миграции, редизайна, смены CMS и массового обновления URL.
- Еженедельно открыть файл и посмотреть, доступен ли он и не скакнуло ли число URL.
- Ежемесячно прогнать адреса из карты через краулер и посмотреть коды ответов.
- После релиза сверить, попали ли новые разделы и ушли ли удалённые.
- После правок robots.txt убедиться, что адреса не попали под Disallow.
- Раз в квартал сверять число адресов с тем, что показал индекс.
