Robots.txt Tester für KI-Bots & Googlebot
Können GPTBot, ClaudeBot, PerplexityBot und Googlebot Ihre Seite crawlen? Testen Sie jede URL gegen Ihre live robots.txt, sehen Sie die genau greifende Regel und probieren Sie Korrekturen aus, bevor Sie sie veröffentlichen.
Beliebige URL eingeben
Wir rufen die robots.txt der Website ab und testen genau den eingegebenen Pfad – nicht nur die Startseite.
Urteil für jeden Bot
20 Such-, KI-Such- und KI-Trainings-Crawler, jeweils mit der Gruppe und Regel, die entscheidet, ob der Zugriff erlaubt ist.
Bearbeiten und erneut testen
Ändern Sie die Regeln im Editor oder fügen Sie unser Snippet „Training blockieren, KI-Suche erlauben“ hinzu und sehen Sie, wie sich die Ergebnisse sofort aktualisieren.
Häufig gestellte Fragen
Wie entscheidet dieser robots.txt-Tester, ob ein Bot blockiert ist?
Er folgt RFC 9309, dem robots.txt-Standard, den Google verwendet: Ein Crawler befolgt die Gruppe, die seinen User-Agent nennt (Groß-/Kleinschreibung egal); gibt es keine, greift die Gruppe User-agent: *. Innerhalb dieser Gruppe gewinnt der längste passende Allow- oder Disallow-Pfad, bei Gleichstand gewinnt Allow. Platzhalter (*) und URL-Endanker ($) werden unterstützt.
Sollte ich GPTBot, ClaudeBot und andere KI-Crawler blockieren?
Das hängt von Ihren Zielen ab. Trainings-Crawler (GPTBot, ClaudeBot, Google-Extended, CCBot) sammeln Daten zum Trainieren von Modellen – sie zu blockieren ist eine Grundsatzentscheidung. Such- und User-Fetch-Bots (OAI-SearchBot, ChatGPT-User, Claude-SearchBot, PerplexityBot) ermöglichen es KI-Assistenten, Sie zu zitieren und zu verlinken. Die meisten Marken blockieren höchstens das Training und erlauben die KI-Suche.
Entfernt mich das Blockieren von Google-Extended aus den AI Overviews?
Nein. Google-Extended steuert nur, ob Ihre Inhalte zum Training und Grounding von Gemini-Modellen verwendet werden. AI Overviews und AI Mode sind Teil der Google-Suche und nutzen den Googlebot – ein Blockieren des Googlebots würde Sie komplett aus Google entfernen.
Reicht robots.txt, um eine Seite aus Google herauszuhalten?
Nein. robots.txt verhindert das Crawling, nicht die Indexierung – eine blockierte URL kann über darauf verweisende Links trotzdem indexiert werden, nur ohne Beschreibung. Um eine Seite aus den Suchergebnissen herauszuhalten, erlauben Sie das Crawling und verwenden ein noindex-Meta-Tag oder einen X-Robots-Tag-Header.
Was passiert, wenn meine robots.txt einen Fehler zurückgibt?
Ein 404 bedeutet, dass alles gecrawlt werden darf. Einen 5xx-Serverfehler behandelt Google eine Zeit lang als „alles verbieten“, was das Crawling Ihrer gesamten Website stoppen kann – sorgen Sie also dafür, dass robots.txt zuverlässig mit 200 ausgeliefert wird.
Kann ich Änderungen vor der Veröffentlichung testen?
Ja. Bearbeiten Sie nach einem Test die robots.txt und den Pfad im Editor – die Ergebnistabelle aktualisiert sich sofort in Ihrem Browser, sodass Sie Regeln gefahrlos ausprobieren können, bevor Sie sie veröffentlichen.