Google-Extended to samodzielny token (nie osobny robot), którego można użyć w pliku robots.txt, aby zdecydować, czy Google może wykorzystywać treści z Twojej witryny do rozwijania modeli generatywnych, takich jak Gemini. Nie wpływa on na zwykłe indeksowanie ani pozycje w klasycznych wynikach wyszukiwania.
Jak działa Google-Extended?
Zapis User-agent: Google-Extended z dyrektywą Disallow: / informuje Google, że treści nie mają służyć szkoleniu modeli generatywnych. Pobieraniem stron nadal zajmuje się Googlebot, więc blokada nie zmienia sposobu indeksowania.
Co się nie zmienia po blokadzie?
Strona nadal może być indeksowana i wyświetlana w zwykłych wynikach. Według dokumentacji Google token nie decyduje o obecności w podsumowaniach AI w wyszukiwarce, ponieważ te korzystają ze standardowych mechanizmów Search. Aktualne zasady opisuje dokumentacja crawlerów Google.
Czy warto blokować?
Decyzja zależy od polityki wydawcy. Blokada chroni treści przed użyciem w szkoleniu, ale nie daje w zamian żadnych korzyści widoczności. Warto ją traktować jako świadomy wybór, a nie domyślny.
Właściciel strony może zdecydować, czy roboty zbierające dane dla modeli AI mają dostęp do jego treści, za pomocą pliku robots.txt.
Zobacz w praktyce
Jak skonfigurować robots.txt i uniknąć typowych błędów 
Analiza logów serwera strony internetowej - poradnik 
Jak zoptymalizować crawl budget dużej strony