Crawler (robot indeksujący, web spider) to program, który automatycznie pobiera strony internetowe i podąża za znalezionymi linkami, żeby odkrywać nowe adresy. Wyszukiwarki używają crawlerów do budowania swoich indeksów.
Jak działa crawler?
- Pobiera listę adresów startowych (m.in. z sitemap i znanych linków).
- Wysyła żądania HTTP i pobiera zawartość.
- Wydobywa linki i dodaje nowe adresy do kolejki.
- Przekazuje treść do dalszego przetwarzania i indeksowania.
Crawlery wyszukiwarek, narzędzi i AI
Poza Googlebotem i Bingbotem stronę odwiedzają crawlery narzędzi SEO oraz boty firm AI. Rozpoznasz je po nagłówku User-Agent, ale tożsamość podrobiono łatwo, więc w razie wątpliwości weryfikuje się adres IP.
Dostęp robotów można sprawdzić w logach serwera, gdzie widać adresy, kody odpowiedzi i częstotliwość odwiedzin, a prawdziwego Googlebota odróżnia się od podróbek odwrotnym zapytaniem DNS.
Jak zablokować crawler?
Przez robots.txt, jeśli bot przestrzega pliku, lub na poziomie serwera i zapory (WAF), jeśli go ignoruje. Pamiętaj, aby nie zablokować robotów, na których Ci zależy.