Logo David Burdelak
Słownik · SEO

Co to jest robots.txt?

Ostatnia aktualizacja:

Robots.txt to plik tekstowy umieszczony w katalogu głównym domeny, np. example.com/robots.txt, w którym właściciel strony informuje roboty, jakich adresów nie powinny skanować. Plik działa na zasadzie umowy: roboty wyszukiwarek się do niego stosują, ale nie jest zabezpieczeniem i nie powstrzyma złośliwych botów.

Historia i standard

Zasady pliku robots.txt zaproponował w 1994 roku Martijn Koster, gdy pierwsze roboty zaczęły przeciążać serwery. Przez prawie 30 lat był to nieformalny standard, każda wyszukiwarka interpretowała go po swojemu. W 2022 roku protokół został opisany jako oficjalny standard internetowy RFC 9309, który określa m.in. składnię, obsługę błędów i limit rozmiaru pliku.

Dyrektywy robots.txt

Dyrektywa Znaczenie
User-agent którego robota dotyczy grupa reguł, * oznacza wszystkie
Disallow ścieżka, której robot nie powinien skanować
Allow wyjątek od reguły Disallow
Sitemap pełny adres mapy witryny
Crawl-delay odstęp między zapytaniami, Google tę dyrektywę ignoruje

W ścieżkach można używać znaku * zastępującego dowolny ciąg i $ oznaczającego koniec adresu. Gdy reguły się wykluczają, Google stosuje tę, która ma dłuższą ścieżkę. Pliki robots.txt służą też do blokowania robotów zbierających dane dla modeli AI, takich jak GPTBot.

Czego robots.txt nie robi?

Robots.txt blokuje skanowanie, a nie indeksowanie. Zablokowany adres może pojawić się w wynikach, jeśli prowadzą do niego linki, tyle że bez opisu. Żeby strona nie trafiła do indeksu, potrzebny jest meta tag noindex, a robot musi mieć możliwość go odczytać, więc tej strony nie wolno jednocześnie blokować w robots.txt. Od 2019 roku Google nie obsługuje też dyrektywy noindex wpisanej w samym pliku robots.txt.

Plik jest publiczny, więc wpisywanie do niego ścieżek do paneli administracyjnych czy ukrytych katalogów tylko wskazuje je atakującym.

Gdzie leży plik i jakie ma ograniczenia?

Plik musi znajdować się w katalogu głównym hosta i dotyczy tylko tego hosta i protokołu. Subdomena sklep.example.com potrzebuje własnego pliku. Google przetwarza maksymalnie 500 KiB pliku, a pamięta jego treść zwykle do 24 godzin. Gdy plik zwraca błąd serwera, Google może wstrzymać skanowanie całej strony. Typowe pomyłki i bezpieczne wzory konfiguracji opisuje poradnik o konfiguracji robots.txt.

Zobacz w praktyce

Powiązane pojęcia

Wszystkie hasła z kategorii SEO