Crawl budget: как проверить бюджет сканирования
Crawl budget — условное обозначение ресурсов, которые поисковый робот готов тратить на обход сайта.
На небольшом сайте обычно не нужно начинать SEO с «экономии бюджета»: важнее устранить реальные ошибки доступа и сделать полезные документы доступными через ссылки.
Когда тема становится существенной
Для крупных каталогов с фильтрами, миллионами URL и частыми обновлениями очередность обхода действительно может влиять на оперативность индексирования. Для сайта из нескольких десятков страниц проблема чаще лежит в noindex, неправильном canonical, отсутствии ссылок или низкой ценности документа.
Какие данные смотреть
Изучите серверные логи запросов поисковых роботов, отчёты обхода, ответы 200/301/404/5xx и частоту обращения к важным URL. Разделите полезные документы, повторяющиеся параметры и технические адреса. Учтите, что нельзя без проверки считать любой запрос к серверу настоящим поисковым роботом.
Что исправлять
Устраните бесконечные цепочки параметров, битые внутренние ссылки и ошибки сервера. Отдавайте корректные статусы и не включайте лишние URL в sitemap. Не блокируйте важные CSS/JS и не закрывайте robots.txt путь к странице, которую хотите канонизировать по содержимому.
Оценивайте результат по доступности и индексированию приоритетных страниц. Увеличение общего числа запросов робота само по себе не является целью.