Tester robots.txt dla botów AI i Googlebota
Czy GPTBot, ClaudeBot, PerplexityBot i Googlebot mogą crawlować Twoją stronę? Przetestuj dowolny URL względem aktualnego robots.txt, zobacz dokładną regułę, która ma zastosowanie, i wypróbuj poprawki przed wdrożeniem.
Wpisz dowolny URL
Pobieramy robots.txt danej witryny i testujemy dokładnie wpisaną ścieżkę — nie tylko stronę główną.
Zobacz werdykt dla każdego bota
20 crawlerów wyszukiwarek, wyszukiwania AI i trenowania AI — każdy z grupą i regułą, która decyduje, czy ma dostęp.
Edytuj i testuj ponownie
Zmień reguły w edytorze lub dodaj nasz fragment „blokuj trenowanie, zezwalaj na wyszukiwanie AI” i obserwuj, jak wyniki aktualizują się natychmiast.
Najczęściej zadawane pytania
Jak ten tester robots.txt ustala, czy bot jest zablokowany?
Stosuje RFC 9309 — standard robots.txt, z którego korzysta Google: crawler przestrzega grupy, która wymienia jego user-agent (bez rozróżniania wielkości liter); jeśli takiej nie ma, korzysta z grupy User-agent: *. W obrębie tej grupy wygrywa najdłuższa pasująca ścieżka Allow lub Disallow, a przy remisie wygrywa Allow. Obsługiwane są symbole wieloznaczne (*) i znaczniki końca URL-a ($).
Czy blokować GPTBot, ClaudeBot i inne crawlery AI?
To zależy od Twoich celów. Crawlery trenujące (GPTBot, ClaudeBot, Google-Extended, CCBot) zbierają dane do trenowania modeli — ich blokowanie to kwestia polityki. Boty wyszukiwania i pobierania na żądanie użytkownika (OAI-SearchBot, ChatGPT-User, Claude-SearchBot, PerplexityBot) sprawiają, że asystenci AI mogą Cię cytować i linkować. Większość marek co najwyżej blokuje trenowanie, a wyszukiwanie AI pozostawia dozwolone.
Czy zablokowanie Google-Extended usuwa mnie z AI Overviews?
Nie. Google-Extended określa jedynie, czy Twoje treści są używane do trenowania i ugruntowywania (grounding) modeli Gemini. AI Overviews i AI Mode są częścią wyszukiwarki Google i korzystają z Googlebota — zablokowanie Googlebota usunęłoby Cię z Google całkowicie.
Czy robots.txt wystarczy, by strona nie trafiła do Google?
Nie. robots.txt blokuje crawlowanie, a nie indeksowanie — zablokowany URL nadal może zostać zaindeksowany na podstawie prowadzących do niego linków, bez opisu. Aby strona nie pojawiała się w wynikach wyszukiwania, zezwól na crawlowanie i użyj metatagu noindex lub nagłówka X-Robots-Tag.
Co się stanie, jeśli robots.txt zwraca błąd?
Kod 404 oznacza, że wszystko może być crawlowane. Błąd serwera 5xx Google traktuje przez pewien czas jak „zablokuj wszystko”, co może zatrzymać crawlowanie całej witryny — dlatego upewnij się, że robots.txt jest niezawodnie serwowany z kodem 200.
Czy mogę przetestować zmiany przed ich publikacją?
Tak. Po teście edytuj robots.txt i ścieżkę w edytorze — tabela wyników aktualizuje się natychmiast w Twojej przeglądarce, więc możesz bezpiecznie wypróbować reguły przed wdrożeniem.