Googlebot to nazwa robota Google, który pobiera strony internetowe, renderuje je i przekazuje do indeksu wyszukiwarki. Występuje w wersji mobilnej i desktopowej.
Jak sprawdzić, że to prawdziwy Googlebot?
Nagłówek User-Agent da się podrobić. Prawdziwego Googlebota weryfikuje się przez odwrócone zapytanie DNS adresu IP (reverse DNS) i sprawdzenie, czy domena kończy się na googlebot.com lub google.com, a następnie przez zapytanie wprost. Można też porównać adres z oficjalną listą zakresów IP publikowaną przez Google.
Co Googlebot widzi na stronie?
Po pobraniu HTML Google renderuje stronę z użyciem przeglądarki opartej na Chrome, więc widzi treść wstawianą przez JavaScript. Narzędzie „Sprawdzanie adresu URL” w Search Console pokazuje, jak strona wygląda dla robota.
Częstotliwość wizyt zależy od wydajności serwera i wartości treści, a przeciążony serwer zmniejsza tempo skanowania.
Dlaczego Googlebot odwiedza stronę tak często lub tak rzadko?
Częstotliwość zależy od wartości i zmienności treści oraz od kondycji serwera. Częste błędy 5xx i wolne odpowiedzi zmniejszają tempo skanowania.
Liczba odwiedzanych adresów jest ograniczona, dlatego przy dużych serwisach ważna jest optymalizacja crawl budgetu.
Zobacz w praktyce
Jak zoptymalizować crawl budget dużej strony 
Analiza logów serwera strony internetowej - poradnik 
Dynamic rendering a cloaking, czyli kiedy Google nakłada karę