Meta robots to znacznik w sekcji <head> (lub nagłówek HTTP X-Robots-Tag), który przekazuje robotom wyszukiwarek instrukcje dotyczące indeksowania strony i śledzenia linków. Najczęstsza dyrektywa to noindex.
Najważniejsze dyrektywy
| Dyrektywa | Działanie |
|---|---|
noindex |
nie dodawaj strony do indeksu |
nofollow |
nie podążaj za linkami na stronie |
nosnippet |
nie pokazuj fragmentu tekstu w wynikach |
max-snippet |
ogranicz długość fragmentu |
<meta name="robots" content="noindex, follow">Noindex a robots.txt
Aby robot zobaczył noindex, musi mieć dostęp do strony. Jeśli zablokujesz ją w robots.txt, dyrektywa nie zostanie odczytana, a adres może pozostać w indeksie.
Dyrektywy można łączyć, np. noindex, follow, a wartość nosnippet ukrywa fragment w wynikach. Opisuje to dokumentacja Google.
Znacznik działa tylko wtedy, gdy robot może pobrać stronę, więc nie blokuj jej jednocześnie w robots.txt.
Jak wykluczyć plik PDF z indeksu?
Użyj nagłówka HTTP X-Robots-Tag: noindex, ponieważ plik PDF nie ma sekcji head, w której można umieścić znacznik meta.