Crawl budget (budżet indeksowania) to liczba adresów w danej witrynie, które robot wyszukiwarki może i chce przeskanować w określonym czasie. Zależy od wydajności serwera oraz od tego, jak bardzo wyszukiwarka uważa treści strony za warte aktualizacji. Ma znaczenie przede wszystkim dla dużych serwisów, w których robot nie nadąża ze skanowaniem wszystkich adresów.
Z czego składa się crawl budget?
Google opisuje budżet jako połączenie dwóch czynników:
| Składnik | Co oznacza | Od czego zależy |
|---|---|---|
| Limit wydajności (crawl capacity) | ile zapytań robot może wysłać bez przeciążenia serwera | czas odpowiedzi serwera, liczba błędów 5xx, ustawienia hostingu |
| Zapotrzebowanie (crawl demand) | ile adresów Google chce przeskanować | popularność stron, częstotliwość zmian, liczba znanych adresów |
Jeśli serwer odpowiada szybko i bez błędów, limit rośnie. Jeśli zaczyna zwalniać lub zwracać błędy, Googlebot sam ogranicza tempo skanowania.
Kogo dotyczy problem?
Według Google crawl budget ma realne znaczenie dla bardzo dużych witryn, liczących około miliona unikalnych adresów i więcej, oraz dla średnich serwisów, mających ponad 10 tysięcy stron zmieniających się codziennie. Problem pojawia się też, gdy w raporcie stron Search Console duża część adresów ma status „Strona wykryta – obecnie nie zindeksowana”. Mała strona firmowa czy blog z kilkuset wpisami zwykle nie musi się nim przejmować.
Co marnuje budżet?
- kombinacje filtrów i sortowań tworzące tysiące adresów z tą samą treścią,
- parametry śledzące i identyfikatory sesji w adresach,
- łańcuchy przekierowań i linki do stron zwracających błędy,
- duplikaty treści, np. wersje z ukośnikiem i bez lub z
wwwi bez, - strony niskiej jakości i rozbudowane archiwa bez wartości dla użytkownika,
- wolny serwer, który ogranicza liczbę zapytań robota.
Jak sprawdzić crawl budget?
Podstawowym źródłem jest raport Statystyki indeksowania w Google Search Console, który pokazuje liczbę zapytań robota dziennie, średni czas odpowiedzi serwera i rozkład kodów odpowiedzi. Dokładniejszy obraz dają logi serwera: pokazują, które adresy Googlebot odwiedza najczęściej, a których nie odwiedza wcale. Ograniczanie zbędnych adresów i przyspieszanie skanowania w praktyce opisuje poradnik o optymalizacji crawl budgetu dużej strony.
Zobacz w praktyce
Jak zoptymalizować crawl budget dużej strony 
Analiza logów serwera strony internetowej - poradnik 
Jak skonfigurować robots.txt i uniknąć typowych błędów