Каждый запрос к сайту оставляет строку в логе сервера, и из этих строк можно извлечь больше, чем из любого отчёта счётчика. По ним видно ошибки, медленные страницы, атаки и то, как поисковые роботы обходят сайт. Ниже разбираем, что записано в логах, как настроить сбор и хранение, какими командами и системами вести анализ логов веб-сервера и как по ним найти потери краулингового бюджета.
Что такое лог-файлы веб-сервера и какие данные они содержат
Лог-файлы веб-сервера – текстовые журналы, куда Nginx, Apache или другой сервер записывает каждое обращение к сайту и каждую ошибку. Основных журналов два. Access log фиксирует каждый HTTP-запрос. Error log собирает ошибки конфигурации, обращения к недоступным файлам и ошибки PHP. Отдельно ведутся логи приложений и базы данных, включая журнал медленных запросов.
В стандартном формате access log, Combined, каждая строка содержит такие поля:
- IP-адрес, с которого пришёл запрос;
- момент запроса вместе с часовым поясом;
- HTTP-метод, запрошенный URL и версия протокола;
- статус ответа сервера (200, 301, 404 и другие);
- число байтов, отданных клиенту;
- реферер, то есть страница, с которой пришёл переход;
- User-Agent браузера, приложения или робота.
Анализ access log опирается именно на эти поля. Длительности запроса Combined не содержит: в Nginx её даёт переменная $request_time, а в Apache, по документации модуля mod_log_config, её пишет %D в микросекундах.
Зачем анализировать логи сайта
Анализ логов сайта показывает то, чего не видит клиентская аналитика. Счётчик работает в браузере и почти ничего не фиксирует, если скрипт заблокирован или в браузере выключен JavaScript, а сервер записывает любой запрос независимо от этого. Кроме HTML, поисковые роботы забирают CSS, JS, картинки, sitemap и robots.txt, и в отчётах счётчика эти обращения не появляются.
Разбор логов закрывает четыре группы задач:
- ошибки 4xx и 5xx, битые ссылки и цепочки редиректов;
- производительность, то есть медленные URL и пики нагрузки;
- безопасность, от сканирования уязвимостей до подбора паролей;
- обход сайта роботами и расход краулингового бюджета по разделам.
Инциденты при этом разбираются по фактам, а не по догадкам. У каждой ошибки в логе есть время, адрес и источник запроса, и сбой восстанавливается по минутам.
Настройка сбора логов: доступ, формат и хранение
Доступ к логам получают тремя путями. На виртуальном хостинге журналы лежат в разделе статистики панели, их скачивают по FTP или SFTP из каталога логов. На VPS и выделенном сервере файлы читают по SSH, обычно в каталоге /var/log/nginx или /var/log/apache2. Когда запись выключена, её включают в конфигурации директивой access_log у Nginx или CustomLog у Apache.
Формат лога в Apache и Nginx: какие поля нужны для анализа
Для SEO-разбора достаточно Combined. Чтобы ловить медленные страницы и сбои бэкенда, формат расширяют. В Nginx для этого в log_format добавляют такие переменные:
- $request_time хранит, сколько секунд длился весь запрос;
- $upstream_response_time показывает, сколько ждали бэкенд, отдельно от собственной работы Nginx;
- $request_id помогает найти тот же запрос в логах приложения;
- $host называет виртуальный хост, если на одном сервере живёт несколько сайтов.
В Apache время обработки пишет %D, имя виртуального хоста пишет %v в директиве LogFormat, а идентификатор запроса даёт модуль mod_unique_id. Если сайт стоит за CDN или балансировщиком, в поле IP попадает адрес прокси. Исходный IP клиента берут из прокси-заголовка X-Forwarded-For: в Nginx для этого есть директивы set_real_ip_from и real_ip_header.
Статику (CSS, JS, изображения) разумно исключать из основного лога или отсеивать фильтрами при анализе. На нагруженном проекте такие строки составляют большую часть журнала и быстро раздувают его, а о поведении сайта почти ничего не говорят.
Ротация и хранение логов
Ротацию поручают logrotate: каждый день он заводит новый файл, прежние сжимает, а просроченные стирает. Затем Nginx получает сигнал USR1 и переоткрывает журналы. Без сигнала сервер продолжит писать в старый, уже переименованный файл. Недельный отчёт собирают по всем файлам, сжатые читает zcat.
Для трендов архив обычно держат несколько месяцев. При этом в строках журнала лежат IP-адреса, рефереры и параметры URL, а иногда и идентификаторы cookie или пользователей, так что логи могут содержать персональные данные. Сроки хранения, доступ к журналам и их передачу внешним сервисам стоит заранее согласовать с юристом. Перед запуском сбора полезно пройти по короткому чек-листу:
- в GET-параметрах URL нет адресов почты, номеров телефонов и заказов;
- лишние поля в журнале скрыты маской или не записываются;
- доступ к логам открыт только сотрудникам, которым он нужен по работе;
- в logrotate задан срок хранения, и старые архивы стираются сами;
- перед подключением APM, антибота или внешнего лог-менеджера выяснено, что именно им передаётся и где эти данные хранятся.
Инструменты и методы анализа логов
Метод выбирают по вопросу и по масштабу. Разовую проверку одного файла закрывают консольные команды, регулярный обзор трафика даёт GoAccess, а десяток серверов с поиском по месяцам истории требует централизованной системы. Любой анализатор логов начинает с парсинга строки на поля, поэтому инструмент должен знать формат лога, иначе он не отличит URL от реферера.
Консольные команды grep, awk и sed
Ошибки 5xx за последний час выбирают через grep по дате и часу, а затем awk по девятому полю: grep "23/Sep/2026:14" access.log | awk '$9 ~ /^5/'. Топ URL с ответом 404 строится так: awk '$9 == 404 {print $7}' access.log | sort | uniq -c | sort -rn | head -20. Топ IP по числу запросов даёт та же сортировка без фильтра по коду: awk '{print $1}' access.log | sort | uniq -c | sort -rn | head -20. Ротированные файлы читают через zcat, а sed вырезает нужный интервал времени.
GoAccess: быстрый обзор трафика
GoAccess – компактный анализатор логов для веб-серверов, который работает в терминале и строит HTML-отчёт: самые тяжёлые URL, доли кодов ответа, страны посетителей, User-Agent и часы пиковой нагрузки. Через WebSocket-подключение отчёт обновляется почти в реальном времени. В нём могут оказаться чувствительные данные, поэтому страницу обязательно прячут за авторизацию или открывают только для разрешённых IP. Если WebSocket не нужен, HTML просто пересобирают по расписанию cron. Формат строки GoAccess нужно описать явно. Искать по исходным строкам с произвольными условиями GoAccess не умеет, а сводить в один отчёт журналы с разных хостов в нём неудобно.
ELK и OpenSearch: централизованный сбор и поиск
Стек ELK состоит из Elasticsearch (поисковый движок и хранилище), Logstash (сбор и обработка журналов) и Kibana (веб-интерфейс и графики). Filebeat отправляет логи с серверов в Logstash. OpenSearch вырос в 2021 году из Elasticsearch 7.10 как открытый форк, а роль Kibana в нём играет OpenSearch Dashboards. Централизованный сбор даёт единую картину по всем узлам, снимает необходимость заходить на каждый сервер и позволяет настроить алерты.
Graylog
Graylog собирает журналы со многих машин в одном месте, хранит их, ищет по ним и рассылает оповещения. У платформы есть бесплатная версия Graylog Open. Внутри работают три компонента. Это сам сервер Graylog вместе с веб-интерфейсом, MongoDB, где лежат метаданные, и OpenSearch или Elasticsearch, которые хранят сообщения и дают полнотекстовый поиск. Логи с клиентов отправляют через rsyslog. Для логов Nginx есть готовые контент-паки с дашбордами, в основном от сообщества, поэтому перед установкой пак сверяют с версией Graylog.
Онлайн-сервисы и готовые анализаторы
В панелях хостинга часто стоят AWStats или Webalizer со сводной статистикой. SEO-анализаторы логов, например Screaming Frog Log File Analyser и похожие сервисы, принимают загруженный файл и сразу разбивают обход по роботам и разделам. Так выглядит выбор инструмента по задаче:
- grep, awk и sed хватает на разовые вопросы к журналу одного сервера;
- GoAccess показывает трафик и коды ответа за минуты, без отдельной инфраструктуры;
- ELK или OpenSearch нужны, когда серверов несколько и требуется поиск по сырым событиям за месяцы;
- Graylog подходит командам, которым важны оповещения и разграничение прав;
- SEO-анализатор закрывает задачи вроде долей роботов и сверки с sitemap.
Анализ логов для SEO: поисковые боты и краулинговый бюджет
Для продвижения журнал отвечает на вопрос, который не решает ни одна панель вебмастера полностью: какие URL робот реально запрашивает, как часто и с каким ответом. Краулинговый бюджет здесь виден в запросах, а не в оценках.
Как отделить поисковых роботов от остального трафика
Роботов нельзя определять только по User-Agent: под Googlebot и YandexBot регулярно маскируются чужие боты. Для Googlebot, как описано в документации Google о проверке роботов, по IP делают обратный DNS-запрос, затем прямой запрос по полученному имени либо сверяют адрес с опубликованными диапазонами IP Google. Робота Яндекса проверяют так же: по справке Яндекс Вебмастера имя его хоста оканчивается на yandex.ru, yandex.net или yandex.com.
Google индексирует сайты по мобильной версии (mobile-first indexing), поэтому в логах в первую очередь считают визиты Googlebot Smartphone, а общий агент Googlebot вторичен. Частые визиты робота ещё не означают индексации, и адрес, который постоянно встречается в логах, вполне может отсутствовать в поиске.
Потери краулингового бюджета и сверка с sitemap
Чаще всего бюджет уходит на технические URL и дубли, страницы внутреннего поиска, пагинацию с параметрами, фасетные фильтры и циклические редиректы. Чтобы найти адреса, до которых робот не дошёл, журнал сопоставляют с XML sitemap и отчётами Яндекс Вебмастера и Google Search Console. Разбор под индексацию идёт по шагам:
- собрать access log сервера, CDN и WAF за период от нескольких недель до месяца;
- отделить подтверждённых роботов от подделок и людей;
- разложить URL по группам (индексируемые, закрытые noindex или canonical, с параметрами, редиректы, ответы 4xx/5xx, статика);
- наложить обход на sitemap и увидеть, где теряется бюджет;
- посмотреть, как быстро сервер отвечает роботу;
- повторить анализ через несколько недель после правок.
Поиск ошибок, медленных запросов и признаков атак
Лог доступа показывает симптом, а причину показывают error log и лог приложения. Поэтому при разборе инцидента их читают вместе, сопоставляя по времени и по идентификатору запроса.
Ошибки 4xx и 5xx и медленные запросы
Топ адресов с кодом 404 показывает битые внутренние ссылки и устаревшие URL из внешних источников. Что делать с найденными адресами, разобрано в статье как исправить ошибку 404 на сайте. Всплеск 5xx сверяют с error log за ту же минуту. Коды 502 и 504 обычно значат, что бэкенд не ответил или не уложился в proxy_read_timeout, а 500 указывает на ошибку в коде приложения.
Медленные запросы находят сортировкой по $request_time. Если $upstream_response_time почти равен полному времени, тормозит бэкенд или база, и тогда пригодится журнал медленных запросов СУБД.
Боты, сканирование и подбор паролей
Сканер уязвимостей оставляет в логе серию ответов 404 за короткий промежуток: запросы к wp-admin, phpmyadmin, .env, .git и shell.php идут с разных IP. Подбор паролей виден по массовым POST к форме входа с кодами 401 и 403. Если один адрес шлёт запросов в разы больше остальных, за ним, скорее всего, стоит бот или атака. Такие паттерны закрывают лимитом запросов в Nginx (limit_req), блокировкой через fail2ban и запретом доступа к служебным путям.
Мониторинг и оповещения по логам
Разбор раз в месяц не заменяет мониторинга. О всплеске 5xx полезнее узнать через минуты, а не из отчёта через неделю. Оповещения настраивают несколькими способами:
- Logwatch по расписанию анализирует журналы Linux и присылает сводку на email;
- собственный скрипт по cron считает ошибки и пишет в рабочий чат при превышении порога;
- правило в системе сбора логов, например письмо Graylog по событию;
- дашборд Grafana с панелями ошибок, времени ответа и угроз.
Для постоянного мониторинга логи собирают в Loki и строят панели в Grafana. Раньше доставкой занимался Promtail, но, по документации Grafana Labs, его поддержка завершилась 2 марта 2026 года, и в новых установках логи в Loki отправляет Grafana Alloy. Порог оповещения задают от обычного фона сайта, иначе алерты превращаются в шум и их перестают читать. Повторный анализ после правок обязателен: только он показывает, изменился ли обход.
Типичные ошибки при работе с логами
Промахи при работе с журналами сервера чаще всего вызваны не инструментом, а порядком работы:
- разбор одного свежего access.log, когда ротированные архивы забыты и история потеряна;
- доверие поддельным ботам с чужим User-Agent;
- блокировка CSS и JS для роботов;
- поспешные правки robots.txt и редиректов без проверки по логам после изменений.
URL с кодом 404, найденные по логам, исправляют или перенаправляют, а как исправить ошибку 404, рассказано в материале, ссылка на который стоит в разделе об ошибках. Что означает всплеск ошибки 500 и как её устранить, разобрано в статье об ошибке 500.





