Crawl Budget

Crawl Budget — це обсяг ресурсів, який пошуковий робот Googlebot або інший краулер готовий витратити на сканування сайту за певний час. У SEO цим терміном описують, скільки сторінок і як часто бот відвідає, перш ніж перейти до інших сайтів. Від цього залежить, як швидко пошукова система помічає нові або оновлені сторінки.

Як формується обсяг сканування

Crawl Budget складається з двох пов’язаних частин: crawl rate limit — технічно допустимої швидкості запитів до сайту, і crawl demand — інтересу пошуковика до конкретних URL. Якщо сайт відповідає повільно, містить помилки або багато дубльованих сторінок, робот зазвичай обходить його обережніше. Коли ж ресурс часто оновлюється і має якісний, добре пов’язаний контент, потреба в повторному скануванні зростає.

Що впливає на ефективність

• Технічний стан: помилки сервера, ланцюжки редиректів, биті посилання й повільна відповідь зменшують корисне сканування.
• Структура сайту: чітка внутрішня перелінковка допомагає роботу швидше знаходити важливі сторінки.
• Якість індексації: якщо в робот потрапляє багато параметричних, фільтрових або дубльованих URL, частина ресурсу витрачається марно.
• Частота змін: сторінки, що регулярно оновлюються, зазвичай переглядаються частіше.

Практичне значення для SEO

Оптимізація crawl budget потрібна насамперед великим сайтам, інтернет-магазинам, медіа та каталогам, де кількість URL може бути значною. Для невеликих ресурсів питання часто менш критичне, але навіть там зайві дублікати й технічні помилки можуть заважати індексації. Завдання SEO-фахівця — не «змусити» бот обходити все підряд, а зробити так, щоб він витрачав час на сторінки, які справді мають цінність для пошуку.

Що зазвичай допомагає

• закривати від сканування службові та повторювані URL;
• прибирати зайві редиректи та биті посилання;
• поліпшувати внутрішні посилання на пріоритетні сторінки;
• стежити за швидкістю відповіді сервера;
• контролювати sitemap і robots.txt без конфліктів між ними.

У роботі з crawl budget важлива не сама кількість обходів, а їхня якість: чим менше бот витрачає ресурсів на непотрібні адреси, тим більше шансів, що потрібні сторінки будуть швидше проскановані та переіндексовані.