Что такое краулинговый бюджет (crawl budget)?

Краулинговый бюджет (crawl budget) — это ограничение на то, как много и как часто Google сканирует ваш сайт. Он состоит из двух частей: емкость сканирования (crawl capacity — сколько запросов поисковый робот может сделать без нагрузки на ваш сервер; она растет, когда сайт отвечает быстро и без ошибок) и востребованность сканирования (crawl demand — насколько сильно Google хочет сканировать сайт на основе его популярности и частоты обновления контента).

#Почему это важно

Для сайтов с несколькими сотнями страниц краулинговый бюджет редко бывает проблемой. Однако он критически важен для интернет-магазинов с десятками тысяч URL, сайтов с множеством комбинаций фильтров и параметров, а также для медленных серверов. Если бюджет расходуется на цепочки редиректов, ошибки 404 и дублирующие URL с параметрами, новые и обновленные страницы обнаруживаются и индексируются с задержкой.

#Где это видно в SEOAsist

Краулинговый бюджет — это концепция Google; SEOAsist не измеряет его напрямую, но показывает проблемы, которые расходуют его впустую:

• Health: ошибки Redirect chain (2+ hops), Broken internal link (4xx), Pages returning a server error (5xx) и Slow response (> 3 s) напрямую влияют на краулинговый бюджет.
• Health → Uptime → Index status: колонка Google last crawl показывает, когда Google в последний раз сканировал ваши важные страницы.

#Пример

/shoes?color=black&size=40&sort=price
/shoes?size=40&color=black&sort=price
/shoes?color=black&size=40&sort=price&page=1

Поисковый робот сканирует сотни вариаций одного и того же контента. Блокировка малоценных параметров в robots.txt и указание основного URL с помощью канонического тега (canonical) перенаправляют бюджет на важные страницы.

#Частые ошибки

• Списывать проблемы с индексацией на малом сайте на краулинговый бюджет; причиной обычно является качество контента.
• Включение URL с редиректами и ошибками 404 в карту сайта (sitemap).
• Игнорирование медленных ответов сервера и ошибок 5xx; Google замедляет сканирование, когда сталкивается с ошибками.