Работа сайта в выдаче начинается не с текстов и не с рекламы, а с того, узнает ли поиск о существовании страниц. Sitemap собирает адреса страниц в один файл и держит поисковики в курсе того, как сайт устроен сейчас. Форматов поддерживается два — XML и простой текстовый. Отвечая на вопрос, что такое sitemap сайта, проще всего представить опись. Владелец ресурса сам перечисляет адреса, которые считает важными, и передаёт готовый список машине.
Поисковая система не гарантирует, что все указанные в файле адреса попадут в результаты поиска. Быстрее найти страницы файл помогает, а вот индексировать их или нет, поисковик решает без нас. Ниже разберём, какие задачи решает файл, кому он пригодится, как устроен, как его создают и подключают. Отдельно посмотрим, как проверить готовый файл.
Зачем нужен sitemap сайта и как он влияет на индексацию
Краулер находит страницы двумя путями. Он переходит по внутренним ссылкам и приходит по внешним. Если страница не связана с остальным сайтом или лежит на пятом уровне вложенности, обнаружение затягивается на недели. Карта сайта sitemap снимает эту зависимость. Краулер получает список адресов сразу, без обхода всего дерева навигации.
Отдельно стоит вопрос ресурсов. Краулинговый бюджет означает объём страниц и файлов сайта, которые поисковая машина успевает изучить за определённый период. Он не бесконечен, и на крупных проектах бюджет легко израсходовать на служебные адреса, дубли с параметрами и пустые фильтры. Файл с перечнем актуальных адресов такой расход сокращает. Сканирование уходит не на второстепенное, а на страницы, которые приносят трафик, и индексирование от этого выигрывает.
Чего файл не делает, так это не поднимает позиции. В ранжировании он не участвует, и выдача от его появления сама по себе не меняется. Дело файла в обнаружении страниц, дальше работают релевантность и качество контента. Связь при этом прямая. Без индексации даже сильный материал невидим для поиска, поэтому вопрос, зачем нужна карта сайта, упирается не в позиции, а в доступ к ним.
Задачи, которые файл решает при обходе сайта:
- ускорить попадание новых страниц в базу поисковика;
- показать «сиротские» страницы, на которые не ведут внутренние ссылки;
- открыть глубоко вложенные каталоги, до которых обход доходит в последнюю очередь;
- помочь рационально расходовать краулинговый бюджет;
- передать дату обновления страницы и её относительный приоритет.
Какие бывают карты сайта
Под одним словом «карта» скрываются два разных документа с разными адресатами. Их часто путают, а требования и польза у них не совпадают. Различают карты и по способу обновления. Статические формируют один раз и правят руками, динамические пересобираются движком сайта при каждой публикации.
XML-карта для поисковых роботов
XML-карта служебная, посетителям она не показывается. Это структура сайта в sitemap: перечень адресов, к которым можно приписать дату обновления и значимость страницы. Такой файл и загружают в поисковые панели. Именно о нём спрашивают те, кто хочет разобраться, что такое sitemap xml и чем этот формат отличается от простого перечня адресов сайта. Простой текстовый формат, где на каждой строке стоит один адрес страницы, поисковик тоже примет, но рекомендованным называет XML. Дополнительная информация о сайте sitemap в этом формате идёт следом за адресами, а плоскому перечню приписать её негде.
HTML-карта для посетителей
HTML карта сайта свёрстана для людей. Это обычная страница, на ней перечислены разделы. Размещают её обычно в футере, нижней части сайта, а ссылку повторяют на странице 404, чтобы человек с несуществующего адреса ушёл не назад в поиск, а в нужный раздел. Как правило, туда выносят ключевые разделы, а не всё подряд. Тысяча пунктов не поможет ни читателю, ни машине. Навигация и поиск по сайту вытеснили этот приём, хотя на крупных каталогах он ещё работает.
Кроме базовой XML-карты есть специализированные, по типу контента:
- image sitemap передаёт роботу адреса картинок, размещённых на страницах;
- video sitemap: карта видео, через неё передают продолжительность ролика, рейтинг и возрастное ограничение;
- news sitemap несёт название статьи и дату публикации;
- индексный файл перечисляет отдельные карты и служит крупным проектам единой точкой входа.
Каким сайтам нужен sitemap, а каким можно обойтись без него
У Яндекса поводов три: страниц на сайте много, часть из них не собрана навигационными ссылками, вложенность глубокая. Документация Google «Общие сведения о файлах Sitemap» перечисляет свои: сайт крупный; сайт недавно запущен, и о нём почти не знают другие ресурсы; на сайте много видео, изображений или новостей.
Обратная сторона описана там же. Файл может не понадобиться сайту, на котором не больше 500 страниц для показа в поиске, с детальной внутренней перелинковкой и без медиаконтента. Само отсутствие sitemap.xml попадает в список возможных проблем сайта, а не критичных или фатальных. Но коммерческому сайту, от посещаемости которого зависит выручка, файл рекомендуют создать.
- карта нужна: интернет-магазину с тысячами карточек, порталу с глубокой вложенностью, новому сайту без внешних ссылок, медиа с большим архивом;
- карта избыточна: лендингу на пять экранов, визитке на десяток страниц со сквозным меню, где робот доходит до любого раздела за два клика.
Как устроен файл sitemap.xml: структура и требования
Если разобрать, что такое sitemap.xml изнутри, получится перечень блоков, по одному на каждую страницу. Блок открывается элементом url, а внутри стоят поля с данными. Понимать разметку до последней скобки владельцу бизнеса не нужно, но знать, какие поля обязательны, полезно. Именно на них мы ссылаемся, когда объясняем, почему часть страниц сайта робот игнорирует.
Обязательным является единственный тег loc, то есть сам адрес страницы. Три остальных отданы на усмотрение владельца. В lastmod пишут, когда страницу правили в последний раз, в changefreq заносят частоту изменений, в priority ставят коэффициент важности от 0.0 до 1.0. Отношение поисковиков к этой тройке разное. Пару changefreq и priority Google пропускает мимо, второй поисковик смотрит на них выборочно, так что вкладываться разумнее в loc и lastmod. Правильный sitemap для сайта держится на точном списке живых адресов, а не на аккуратно расставленных коэффициентах.
Что поисковые системы требуют от файла:
- сохранять в кодировке UTF-8;
- держаться в пределах 50 000 ссылок на один файл;
- не раздувать его свыше 50 МБ в несжатом виде;
- писать абсолютные адреса того же протокола и хоста, где лежит сам файл, а поддоменам заводить собственные карты;
- отдавать по адресу файла HTTP-код 200;
- перечислять только канонические адреса, ведь из нескольких похожих версий страницы в карту идёт основная.
Как создать sitemap для сайта
Способов три, и выбор зависит не от бюджета, а от того, как часто на сайте появляются страницы. Чем чаще меняется содержимое, тем важнее автоматическое обновление файла. Общая последовательность от инструмента не зависит. Сначала определяют канонические URL, затем формируют карту сайта, файл sitemap xml проверяют и только после этого сообщают его адрес поисковикам.
Плагины и модули CMS
Самый практичный путь для сайта на готовом движке. Модуль генерирует карту сам и дописывает в неё новый адрес сразу после публикации, поэтому файл не устаревает. Для WordPress карту создают плагины Yoast SEO, Rank Math и All in One SEO; в 1С-Битрикс генерация sitemap.xml встроена и живёт в «Маркетинге». Многие CMS формируют карту по умолчанию, ещё до установки дополнений, и тогда файл у сайта уже готов.
Онлайн-генераторы
Внешний сервис обходит сайт по ссылкам, как это делает краулер, собирает найденные URL и отдаёт готовый XML. Файл затем загружают на хостинг руками. Ограничение у бесплатных версий одно и существенное. Обход разовый и лимитированный по числу страниц, новые адреса сами в файл не попадают. Сайту, где страницы появляются каждую неделю, такая карта быстро перестаёт соответствовать реальности, и лучше вернуться к модулю CMS.
Создание вручную
Написать XML в текстовом редакторе имеет смысл для маленького сайта на десяток-другой страниц или для самописного движка без готовых модулей. Структура повторяется от файла к файлу. Сначала заголовок с указанием кодировки, потом открывающий тег urlset и дальше блоки url с адресами. Ошибиться здесь легко, а пропущенная закрывающая скобка ломает разбор всего файла. Поэтому собранную руками карту важно прогнать через валидатор, а при каждой правке структуры сайта возвращаться к файлу и дописывать новые адреса.
Порядок действий по каждому способу:
- Плагин CMS: установить и включить модуль, отметить типы страниц для выгрузки, исключить служебные страницы и дубли, проверить адрес готового файла. Подходит магазинам, блогам, корпоративным сайтам на популярных движках.
- Онлайн-генератор: указать домен, дождаться обхода, выгрузить XML, положить его в корневую папку. Подходит сайтам с редко меняющейся структурой.
- Вручную: определить канонические адреса, оформить блоки url с тегом loc, сохранить в UTF-8, проверить валидатором. Подходит небольшим и нестандартным проектам.
Где разместить sitemap и как сообщить о нём поисковым системам
Место готового файла в корневой папке сайта. Тогда он открывается по предсказуемому адресу, что-то вроде https://example.com/sitemap.xml. Дальше о нём нужно сообщить, потому что сам себя он поисковику не покажет.
Директива Sitemap в robots.txt
В robots.txt под карту отводят отдельную строку с директивой Sitemap, за которой идёт полный адрес файла. Одна такая строка говорит сразу всем поисковым системам, и доступ к панелям для неё не нужен.
Отправка в Яндекс Вебмастер и Google Search Console
Путь в Яндекс Вебмастере лежит через «Индексирование → Файлы Sitemap»: вписали адрес и ждём, на загрузку у робота уходит до двух недель. Google Search Console принимает карту в одноимённом разделе и потом показывает либо отметку об успешной отправке, либо перечень ошибок. Панели и строка в robots.txt друг другу не мешают, так что делать можно и то и другое.
- положите файл в корень сайта и откройте в браузере, сервер должен ответить кодом 200;
- пропишите в robots.txt строку Sitemap, а за ней полный адрес;
- укажите тот же адрес в панелях Яндекса и Google;
- загляните туда через две недели и посмотрите статус файла.
Как проверить sitemap и какие ошибки встречаются чаще всего
Проверять карту лучше до отправки, а не после того, как робот сообщил о проблеме. В Вебмастере для этого есть инструмент «Анализ файлов Sitemap». Он разбирает формат и структуру, проверяет доступность адресов и показывает конкретные строки с ошибками. Такую проверку стоит повторять после крупных изменений сайта, будь то перенос каталогов, смена протокола или чистка ассортимента.
Есть и вторая категория ошибок. Файл они не ломают, но обесценивают. Нельзя одновременно закрывать страницу директивой Disallow и просить проиндексировать её через sitemap.xml, иначе краулер получает два противоположных указания. Из тех же соображений мимо карты проходят страницы с тегом noindex, параметрические дубли, служебные каталоги и опустевшие архивы. Множество битых адресов снижает доверие поисковика к файлу, хотя единичные 404 просто исключаются из обработки.
Типичные ошибки и способ устранить каждую:
- превышение лимитов в 50 000 URL или 50 МБ: разбить перечень на несколько файлов и собрать их индексным;
- чужие домены и поддомены в перечне: убрать посторонние адреса, для поддомена завести свою карту;
- битые URL и редиректы: заменить конечными адресами, отдающими код 200;
- страницы с noindex или Disallow и дубли: исключить из выгрузки на стороне CMS;
- неправильная кодировка: пересохранить файл в UTF-8;
- ошибки XML-разметки: прогнать через валидатор и закрыть незакрытые теги;
- файл лежит в директории, закрытой в robots.txt: открыть доступ роботу;
- changefreq не совпадает с реальной частотой обновления: привести значение в соответствие или убрать тег.
Разбор карты часто обнаруживает проблемы за её пределами, от дублей и потерянных каталогов до случайных запретов в robots.txt. Проверить это по всему сайту помогает технический SEO-аудит, в который входит проверка индексации и служебных файлов.
