Robots.txt-tester voor AI-bots & Googlebot
Kunnen GPTBot, ClaudeBot, PerplexityBot en Googlebot je pagina crawlen? Test elke URL tegen je live robots.txt, zie de exacte regel die van toepassing is en probeer oplossingen uit voordat je ze live zet.
Vul een URL in
We halen de robots.txt van die site op en testen het exacte pad dat je hebt ingevuld — niet alleen de homepage.
Zie het oordeel per bot
20 crawlers voor zoeken, AI-zoeken en AI-training, elk met de groep en regel die bepalen of hij toegang heeft.
Bewerk en test opnieuw
Wijzig de regels in de editor of voeg onze snippet “training blokkeren, AI-zoeken toestaan” toe en zie de resultaten direct bijwerken.
Veelgestelde vragen
Hoe bepaalt deze robots.txt-tester of een bot is geblokkeerd?
Hij volgt RFC 9309, de robots.txt-standaard die Google gebruikt: een crawler volgt de groep die zijn user-agent noemt (hoofdletterongevoelig); is die er niet, dan valt hij terug op de groep User-agent: *. Binnen die groep wint het langste overeenkomende Allow- of Disallow-pad, en bij een gelijkspel wint Allow. Wildcards (*) en einde-URL-ankers ($) worden ondersteund.
Moet ik GPTBot, ClaudeBot en andere AI-crawlers blokkeren?
Dat hangt af van je doelen. Trainingscrawlers (GPTBot, ClaudeBot, Google-Extended, CCBot) verzamelen data om modellen te trainen — ze blokkeren is een beleidskeuze. Zoek- en user-fetch-bots (OAI-SearchBot, ChatGPT-User, Claude-SearchBot, PerplexityBot) zorgen ervoor dat AI-assistenten je kunnen citeren en naar je linken. De meeste merken blokkeren hooguit training en laten AI-zoeken toe.
Verdwijn ik uit AI Overviews als ik Google-Extended blokkeer?
Nee. Google-Extended bepaalt alleen of je content wordt gebruikt om Gemini-modellen te trainen en te gronden. AI Overviews en AI Mode zijn onderdeel van Google Search en gebruiken Googlebot — Googlebot blokkeren zou je volledig uit Google verwijderen.
Is robots.txt genoeg om een pagina uit Google te houden?
Nee. robots.txt stopt het crawlen, niet het indexeren — een geblokkeerde URL kan nog steeds worden geïndexeerd via links die ernaar verwijzen, zonder beschrijving. Om een pagina uit de zoekresultaten te houden, sta je crawlen toe en gebruik je een noindex-metatag of X-Robots-Tag-header.
Wat gebeurt er als mijn robots.txt een fout geeft?
Een 404 betekent dat alles mag worden gecrawld. Een 5xx-serverfout wordt door Google een tijd behandeld als “alles disallowen”, wat het crawlen van je hele site kan stoppen — zorg er dus voor dat robots.txt betrouwbaar met een 200 wordt geserveerd.
Kan ik wijzigingen testen voordat ik ze publiceer?
Ja. Bewerk na een test de robots.txt en het pad in de editor — de resultatentabel wordt direct in je browser bijgewerkt, zodat je regels veilig kunt uitproberen voordat je ze live zet.