Краулинг сайта: что это такое, как работает сканирование и управление обходом

Краулинг сайта: что это такое, как работает сканирование и управление обходом

Прежде чем страница вашего сайта появится в результатах поиска Яндекса или Google, поисковая система должна о ней узнать. Этот процесс обнаружения и чтения информации называется краулингом (от англ. crawling) или сканированием. 

В этой статье мы подробно разберем, что такое краулинг и сканирование сайта, как работают поисковые роботы, что такое краулинговый бюджет, глубина сканирования и, наконец — как эффективно управлять этими процессами. Вы узнаете, как сконцентрировать ресурсы поисковых систем на самом важном и ускорить появление в индексе.

Краулинг сайта — что это такое: определение и смысл

Краулинг (crawling) — это процесс автоматизированного обхода страниц сайта специальной программой — поисковым роботом (также его называют краулером, пауком или ботом). Его задача — перемещаться по ссылкам, скачивать содержимое страниц (HTML-код, тексты, изображения) и передавать собранные данные на следующий этап — индексацию. Термин «сканирование сайта» является полным русскоязычным синонимом, и эти понятия используются взаимозаменяемо.

Однако четко разделяйте два этапа: краулинг и индексацию. На первом этапе — происходит сканирование и сбор данных. На втором — последующий анализ и обработка полученной информации, страница сохраняется в базе поисковой системы (индексе). Не каждая веб-страница, которую посетил паук, сохраняется. Например, наполненная низкокачественным или дублированным контентом может быть исключена из индекса.

Краулеры в SEO бывают двух основных типов:

1. Поисковые роботы. Их цель — обходить сайты для обновления базы данных своей поисковой системы.
2. SEO-краулеры. Это программы для технического аудита (Screaming Frog, SiteAnalyzer). Они имитируют поведение поисковых ботов, чтобы специалист мог найти ошибки сканирования сайта и оптимизировать его структуру.

Как работает сканирование сайта поисковым роботом

Механика работы краулера сложна, но ее основные принципы понять несложно. Условно сканирование можно разбить на несколько этапов. Начинается обход не с нуля. У бота уже имеется список известных URL, полученных из трех основных источников: данные от предыдущих сканирований, файл Sitemap.xml, предоставленный веб-мастером, и ссылки с других проиндексированных сайтов.

Далее бот переходит на страницу и скачивает ее HTML-код. Из этого кода извлекается полезная для поиска информация: текст, заголовки, метатеги. Но самое главное — он постепенно проходит вглубь ресурса, находит новые ссылки и добавляет их на обход.

При этом краулер всегда соблюдает правила, установленные мастером:

• Файл robots.txt. Это первый файл, который запрашивается. Если в нем есть директива «Disallow»:/admin, он никогда не зайдет в папку /admin, даже если найдет ссылку.
• Метатег robots. Если на странице указан метатег <meta name=»robots» content=»noindex»>, робот ее просканирует, но не включит в индекс.

Немаловажную роль играет глубина сканирования. Это количество кликов, которые нужно сделать от главной, чтобы добраться до конкретного документа. Страницы на глубине 1 (доступные в один клик) имеют наивысший приоритет и посещаются часто. Страницы на глубине 4 или 5 кликов считаются менее важными, их обход осуществляется реже или до них не доходят вовсе. Оптимальная глубина для ключевых страниц — не более 3-х.

Частота анализа зависит от авторитетности и скорости обновления контента. Крупные новостные порталы сканируются ежечасно, в то время как небольшой блог, обновляемый раз в месяц, посещается раз в несколько недель.

Краулинговый бюджет сайта: что это и почему важно

Когда робот приходит, у него стоит ограничение на этот визит. Краулинговый бюджет (crawl budget) — это то количество страниц, которое поисковая система готова просканировать на вашем ресурсе за определенный период (обычно за сутки). Простыми словами, это лимит внимания, который Яндекс или Google выделяют вашему ресурсу.

Для небольших сайтов, например, визиток или небольших блогов, понятие не критично. Робот обойдет все за один-два захода. Но когда речь идет о крупных проектах — интернет-магазинах с тысячами товаров, новостных порталах или агрегаторах — ситуация меняется. Здесь он становится ценным ресурсом, за который конкурируют все страницы.

Ключевая загвоздка в том, что «кредиты» не всегда тратятся на действительно важные страницы. Существует целый класс «пожирателей», которые не приносят пользы, но отнимают ресурс. К ним относятся:

• Дубли: бесконечные версии одного товара с разными UTM-метками, параметрами сортировки или фильтрами (например, site.ru/category?color=red&sort=price). Для робота кажется, что они разные, и он пытается обойти их все.
• Технический мусор: теги в блоге, служебные разделы, устаревшие архивы.
• Проблемные URL: страницы, которые возвращают ошибки 4xx или 5xx, а также длинные цепочки редиректов, которые заставляют совершать лишние действия.

Почему это важно? Представьте, что ваш краулинговый бюджет — 500 единиц в сутки. Если 400 из них потратится на бесполезные дубли, до ключевых разделов с товарами просто не дойдет очередь. Новые позиции попадут в индексацию с задержкой, а часть страниц, возможно, никогда не проиндексируется. Поэтому контроль расходования на сканирования — одна из приоритетных задач SEO-специалиста при работе с крупными сайтами.

Проблемы и ошибки сканирования сайта

Существует три основные категории проблем, из-за которых страдают большинство.

1. Робот не находит страницы.

Если на страницу нет ни одной внутренней ссылки с других разделов сайта, как робот узнает о ее существовании? Даже если страница лежит в папке, она останется необнаруженной. Другая причина — слишком глубокая вложенность. Бот не дойдет до 7-ого уровня вложенности. Наконец, отсутствие или неактуальность файла Sitemap.xml лишает робота подсказки, где искать новые URL.

2. Робот не может зайти на страницу.

Это происходит по нескольким причинам:

• Закрыто в robots.txt. Если вы случайно запретили анализ раздела при помощи Disallow — он послушно пройдет мимо.
• Серверные ошибки (5xx). Если сервер не отвечает или отвечает ошибкой, сканирование прекращается — сайт считается нестабильным.
• Медленный ответ сервера. Если загрузка происходит слишком долго, робот прервет соединение.

3. Робот обходит лишнее.

Неконтролируемое размножение URL (например, за счет сессионных идентификаторов или бесконечных фильтров) заставляет краулера тратить драгоценное время на тысячи бесполезных дублей.
Все эти факторы приводят к тому, что нужные страницы либо не попадают в индекс, либо обновляются в нем крайне редко.

Управление обходом сайта: как настроить краулинг

Хорошая новость в том, что краулингом можно и нужно управлять. Используйте несколько мощных инструментов для этого.

• Robots.txt. Это основной инструмент. С помощью «Disallow» вы закрываете от сканирования служебные разделы, страницы авторизации, корзину и другой «мусор». Crawl-delay позволяет задать задержку между запросами робота, что полезно для снижения нагрузки на слабый сервер.
• Sitemap.xml. Это ваша прямая подсказка для поисковика. В этом файле вы перечисляете все, что хотите видеть в индексе, и указываете дату их последнего обновления. Это помогает роботу быстрее находить новый контент.
• Метатег robots. Позволяет управлять сканированием и индексированием на уровне отдельной страницы. Директива «noindex» говорит: «можно обойти, но в индекс не добавлять», а «nofollow» — «по ссылкам отсюда не переходи».
• Внутренняя перелинковка. Чем лучше и логичнее связаны страницы между собой, тем легче по ним перемещаться и тем выше оценивается их важность. Основные страницы всегда должны быть доступны с главной за 2-3 клика.

Канонические URL (rel=»canonical») . Этот атрибут указывается в дублях и сообщает: «основная, главная версия этой страницы находится по другой ссылке». Это помогает склеить дубли и не расходовать бюджет.

Заключение

Понимание краулинга и управление этим процессом — фундамент успешного SEO. Это не просто техническая тонкость, а необходимость для крупных ресурсов. Контролируя поведение ботов поисковика, вы напрямую влияете на скорость индексации, видимость и трафик.