После публикации новой страницы её ещё нужно донести до Яндекса, и чем крупнее сайт, тем дольше робот добирается до свежих разделов. Карта сайта сокращает этот путь: вместо вычисления структуры по внутренним ссылкам поисковик получает готовую опись адресов.
Покажем, как добавить файл в Яндекс Вебмастер и указать его в robots.txt, что означают статусы обработки, как разобрать ошибки и чем ускорить переобход — от IndexNow до обхода по счётчикам. Общие требования к самому файлу разобраны в материале про устройство sitemap.xml.
Зачем нужен файл Sitemap и как его использует Яндекс
Индексирующий алгоритм находит новое двумя путями. Он переходит по внутренним связям, а ещё читает карту сайта xml, если она есть. Второй вариант короче. На ресурсе с глубокой вложенностью, слабой перелинковкой или свежими рубриками часть материалов алгоритм обнаружит с задержкой в недели, и готовая опись эту задержку сокращает.
В справке «Файлы Sitemap» назначение файла сформулировано прямо. Через него владелец сообщает об актуальной структуре ресурса. Указать на него можно директивой в robots.txt либо в интерфейсе сервиса, и оба способа допустимо использовать одновременно.
Задачи, которые карта сайта Яндекс Sitemap xml решает для поисковой системы:
- Обнаружение. Алгоритм получает опись целиком, не дожидаясь, пока доберётся до каждой строки внутренними переходами.
- Экономия краулингового бюджета. Число обращений к домену ограничено, и готовый список помогает тратить его на содержательное, а не на дубли.
- Передача метаданных. По значению lastmod с датой изменения алгоритм выбирает, что переобойти в первую очередь.
- Специализированные данные об изображениях. Их передают в том же файле расширением image, и картинки попадают в поиск по изображениям; о видео Яндекс узнаёт из микроразметки страницы, а не из карты.
Сам по себе файл не влияет на ранжирование и не поднимает позиции. Он ускоряет обнаружение нового. Решение о включении страницы в базу принимает алгоритм, и запись в файле его не гарантирует. Но без индексации в выдаче не виден даже сильный текст, поэтому настройка остаётся базовой.
Требования к файлу Sitemap
Собственного формата у поисковой системы нет. Sitemap xml для Яндекса собирают по общему протоколу sitemaps.org. Файл лежит в открытом доступе, отдаётся сервером как разметка и кодируется в UTF-8. Внутри указывают абсолютные пути, с тем же протоколом и хостом, что и у самого файла. Для поддоменов собирают отдельные файлы: они считаются самостоятельными сайтами.
Есть и лимит на длину ссылки, который составляет 2048 символов, из них 1024 отводятся доменному имени и ещё 1024 внутреннему пути.
Структура файла и теги
Внутри корневого элемента urlset каждая страница описана блоком url. Обязательное поле там одно: loc с абсолютным адресом. Остальные воспринимаются как рекомендации:
- loc – адрес страницы, без него блок не имеет смысла.
- lastmod, дата последнего изменения в формате ГГГГ-ММ-ДД. Алгоритму она полезна, но ставить её стоит только при реальных правках: одинаковое «сегодня» у всех страниц обесценивает подсказку.
- changefreq, предполагаемая частота обновления. Рекомендация, а не команда.
- priority – относительная важность адреса от 0 до 1 внутри одного хоста. На выдачу значение не влияет.
Один файл вмещает не больше 50 000 URL и весит не больше 50 МБ в несжатом виде. Отдавать файл разрешено в сжатом виде gzip, лимит объёма при этом считается по распакованному размеру.
Файл индекса Sitemap для больших сайтов
Когда адресов больше лимита, их разбивают на части и собирают в файл индекса sitemap с корневым элементом sitemapindex, где каждый блок ссылается на свою часть и может нести свой lastmod. Поисковая система обрабатывает каждый вложенный файл отдельно.
Разбивку удобно делать по смыслу: отдельно карточки товаров, отдельно каталог, отдельно блог. Тогда по статистике видно, где возникли сложности, и не приходится искать проблему в перечне на десятки тысяч строк.
Как создать Sitemap
Способ создания на этом этапе не принципиален — Яндекс одинаково принимает любой валидный файл. В большинстве CMS карта собирается штатным модулем или плагином и обновляется автоматически, для остальных случаев есть онлайн-генераторы и краулеры вроде Screaming Frog. Подробно все способы разобраны в материале про устройство и создание sitemap, а для популярных систем — в отдельных инструкциях по Битриксу и WordPress. Дальше исходим из того, что файл уже готов и доступен по адресу вида site.ru/sitemap.xml.
Как проверить Sitemap перед отправкой
До того как сообщать Яндексу о файле, стоит убедиться, что он вообще откроется. Проверка занимает минуты и снимает большую часть причин, по которым файл потом висит с ошибкой. Более подробно разобрали в материале как проверить и найти sitemap.xml на сайте.
Как сообщить Яндексу о файле Sitemap
Способов два, и они не исключают друг друга. Это директива в robots.txt и добавление адреса прямо в интерфейсе.
Указание Sitemap в robots.txt
Этот файл лежит в корневом каталоге. Строка Sitemap в robots.txt пишется отдельно от блоков User-agent и выглядит так: Sitemap: https://example.com/sitemap.xml. Когда карт несколько, такие записи перечисляют подряд, по одной на каждую. Директива межсекционная, поэтому её место в документе роли не играет.
Добавление файла в Яндекс Вебмастер
Разберём, как добавить sitemap в Яндекс Вебмастер вручную. Этот способ отличается обратной связью, ведь интерфейс покажет, что с файлом произошло дальше. Понадобятся подтверждённые права, иначе поле для ввода будет недоступно.
- В левом меню разверните пункт «Индексирование» и перейдите к странице со списком карт.
- Убедитесь, что вверху выбран нужный проект, если их у вас несколько.
- Укажите полную ссылку на файл вместе с протоколом, а не только путь от корня.
- Подтвердите ввод кнопкой добавления.
Что происходит после добавления: статусы и обновление файла
Добавленный файл попадает в очередь на обработку: сразу его не разбирают. На загрузку отводится до двух недель, и считается он для каждого файла Sitemap, который получил Яндекс. Вложенные в индекс тоже идут своей очередью. Пока срок не вышел, пустая таблица ни о чём плохом не говорит.
После обработки по карте сайта Яндекс Вебмастер показывает три величины: число найденных внутри адресов, число уже попавших в индекс и число давших ошибку. Заметная разница между первыми двумя выдаёт трудности с обходом или слабое содержимое материалов. Отдельно проверяйте дату последнего обращения. Если она давняя, проверьте, открывается ли файл вообще.
В Google файл передаётся иначе, в том числе через API — подробно в материале про карту сайта в Search Console.
Статусы файла в Вебмастере
Напротив каждой строки сервис показывает один из четырёх статусов, и по каждому есть своё действие:
- «OK». Всё сформировано правильно и загружено в базу робота, рядом стоит дата последней загрузки. Делать ничего не нужно.
- «Редирект». Указанный URL ведёт на другой путь. Уберите перенаправление и отправьте файл на переобход.
- «Ошибка». Разметка составлена неправильно. Откройте подробности по ссылке в статусе, исправьте файл и отправьте его на переобход.
- «Не проиндексирован». Сервер отдал код, отличный от 200, либо доступ закрыт директивой Disallow. Проверьте ответ по полному пути и снимите запрет.
Убедиться, что перечисленное дошло до выдачи, помогает вкладка «Страницы в поиске» в том же блоке индексирования. Там видно и попавшее в индекс, и причины исключения остального. Подробнее эти способы разобраны в статье о том, как проверить индексацию сайта и страниц.
Как обновлять и удалять Sitemap
Правки внутри файла заново загружать не требуется: содержимое перечитывается по расписанию само. Ускорить это перечитывание помогает значок рядом со строкой, после нажатия на который свежие данные подтягиваются за три дня. Ограничение на такое ускорение составляет 10 нажатий на один хост. Исчерпав их, придётся ждать, потому что очередная попытка откроется спустя 30 дней после самой первой, и точную дату сервис назовёт сам.
Когда файлов несколько и они собраны индексом, обработку разрешено запускать по каждому из них поштучно. Удаляют файл значком удаления напротив его строки, не забывая стереть директиву Sitemap в robots.txt, если она там стояла. Из базы сведения исчезают за несколько недель.
Ошибки Sitemap и как их исправить
Ошибки делятся на две группы. Одни лежат в самом файле, другие в его доступности для робота. Первые находит «Анализ файлов Sitemap», вторые показывает «Проверка ответа сервера».
Внутри чаще всего встречаются адреса чужих доменов и поддоменов, битые ссылки и редиректы, из-за которых падает доверие поиска к файлу, неверная кодировка, незакрытые теги и нарушенная разметка, размещение в закрытой директории, а также changefreq, не соответствующий реальной частоте обновлений.
Некоторые статусы выглядят пугающе, но поводом для правок не служат. «Неизвестный тег» появляется из-за элементов, которых протокол не предусматривает: неподдерживаемое просто пропускается мимо, всё остальное учитывается, и трогать разметку не надо.
Ещё сервис умеет показывать вашу карту среди исключённого с пометкой «Неверный формат документа». Смысл у пометки справочный, ведь краулер попробовал прочитать файл как обычную страницу и не смог. Так же безобидны «Документ не содержит текст» и «Запрещён метатегом noindex», ни один из них обработке не мешает.
Статус «Не проиндексирован» возникает по трём причинам:
- робот обошёл файл недавно и ещё не обработал его;
- ресурс был ему недоступен;
- доступ запрещён директивой Disallow или сервер отвечает кодом не 200.
Как устроен запрет и как его снять, разобрано в материале про директиву Disallow в robots.txt.
Если файл не обрабатывается дольше двух недель, проверьте три вещи по порядку. Относится ли он к тому же хосту, включая протокол и www; какой код приходит по этому адресу; что показывает валидация в инструменте «Анализ файлов Sitemap». Когда причина лежит глубже, в настройках сервера или в редиректах, помогает технический аудит сайта, при котором эти настройки проверяют вместе.
Как ускорить индексацию после добавления Sitemap
Перечень сообщает роботу об адресах, но не управляет очередью обхода. Когда материалы нужны в выдаче быстрее, к нему добавляют другие инструменты Вебмастера:
- «Переобход страниц». Это ручная заявка на конкретные адреса. Число заявок ограничено суточной квотой, лимит виден в самом инструменте, поэтому отправляют туда приоритетные разделы, а не весь каталог.
- Протокол IndexNow. Здесь ресурс сам сообщает об изменении, добавлении или удалении своих адресов, не дожидаясь планового визита.
- «Обход по счётчикам» через Яндекс Метрику. Здесь поиск узнаёт о новых материалах по визитам живых пользователей. Перед включением стоит настроить обработку GET-параметров, иначе в обход уйдут дубли с метками.
Помогает и работа с самим перечнем. На большом проекте из него убирают то, что Яндексу уже известно, и оставляют новое или часто обновляемое. Что именно робот успел обойти, видно в разделе Индексирование → Статистика обхода. В файле индекса тегом lastmod помечают те части, которые обновляются чаще других.
Если новое не появляется в выдаче неделями, причина обычно не в нём. Сервер отвечает медленно, разделы закрыты от индексации, содержимое дублируется. Остальные причины долгой индексации и порядок их устранения разобраны в материале про проблемы индексации сайта.
