Robots.txt to plik tekstowy umieszczony w katalogu głównym domeny, np. example.com/robots.txt, w którym właściciel strony informuje roboty, jakich adresów nie powinny skanować. Plik działa na zasadzie umowy: roboty wyszukiwarek się do niego stosują, ale nie jest zabezpieczeniem i nie powstrzyma złośliwych botów.
Historia i standard
Zasady pliku robots.txt zaproponował w 1994 roku Martijn Koster, gdy pierwsze roboty zaczęły przeciążać serwery. Przez prawie 30 lat był to nieformalny standard, każda wyszukiwarka interpretowała go po swojemu. W 2022 roku protokół został opisany jako oficjalny standard internetowy RFC 9309, który określa m.in. składnię, obsługę błędów i limit rozmiaru pliku.
Dyrektywy robots.txt
| Dyrektywa | Znaczenie |
|---|---|
User-agent |
którego robota dotyczy grupa reguł, * oznacza wszystkie |
Disallow |
ścieżka, której robot nie powinien skanować |
Allow |
wyjątek od reguły Disallow
|
Sitemap |
pełny adres mapy witryny |
Crawl-delay |
odstęp między zapytaniami, Google tę dyrektywę ignoruje |
W ścieżkach można używać znaku * zastępującego dowolny ciąg i $ oznaczającego koniec adresu. Gdy reguły się wykluczają, Google stosuje tę, która ma dłuższą ścieżkę. Pliki robots.txt służą też do blokowania robotów zbierających dane dla modeli AI, takich jak GPTBot.
Czego robots.txt nie robi?
Robots.txt blokuje skanowanie, a nie indeksowanie. Zablokowany adres może pojawić się w wynikach, jeśli prowadzą do niego linki, tyle że bez opisu. Żeby strona nie trafiła do indeksu, potrzebny jest meta tag noindex, a robot musi mieć możliwość go odczytać, więc tej strony nie wolno jednocześnie blokować w robots.txt. Od 2019 roku Google nie obsługuje też dyrektywy noindex wpisanej w samym pliku robots.txt.
Plik jest publiczny, więc wpisywanie do niego ścieżek do paneli administracyjnych czy ukrytych katalogów tylko wskazuje je atakującym.
Gdzie leży plik i jakie ma ograniczenia?
Plik musi znajdować się w katalogu głównym hosta i dotyczy tylko tego hosta i protokołu. Subdomena sklep.example.com potrzebuje własnego pliku. Google przetwarza maksymalnie 500 KiB pliku, a pamięta jego treść zwykle do 24 godzin. Gdy plik zwraca błąd serwera, Google może wstrzymać skanowanie całej strony. Typowe pomyłki i bezpieczne wzory konfiguracji opisuje poradnik o konfiguracji robots.txt.
Zobacz w praktyce
Jak skonfigurować robots.txt i uniknąć typowych błędów
Jak zoptymalizować crawl budget dużej strony
Audyt techniczny SEO krok po kroku