Testeur robots.txt pour les bots IA et Googlebot
GPTBot, ClaudeBot, PerplexityBot et Googlebot peuvent-ils explorer votre page ? Testez n’importe quelle URL avec votre robots.txt en ligne, voyez la règle exacte qui s’applique et essayez des correctifs avant de les déployer.
Saisissez n’importe quelle URL
Nous récupérons le robots.txt du site et testons le chemin exact que vous avez saisi — pas seulement la page d’accueil.
Voyez le verdict de chaque bot
20 robots de recherche, de recherche IA et d’entraînement IA, chacun avec le groupe et la règle qui déterminent s’il est autorisé.
Modifiez et retestez
Changez les règles dans l’éditeur ou ajoutez notre extrait « bloquer l’entraînement, autoriser la recherche IA » et voyez les résultats se mettre à jour instantanément.
Questions fréquentes
Comment ce testeur robots.txt détermine-t-il si un bot est bloqué ?
Il suit la RFC 9309, la norme robots.txt utilisée par Google : un robot obéit au groupe qui cite son user-agent (sans tenir compte de la casse) ; à défaut, il se rabat sur le groupe User-agent: *. Au sein de ce groupe, le chemin Allow ou Disallow correspondant le plus long l’emporte, et Allow l’emporte en cas d’égalité. Les caractères génériques (*) et les ancres de fin d’URL ($) sont pris en charge.
Faut-il bloquer GPTBot, ClaudeBot et les autres robots IA ?
Cela dépend de vos objectifs. Les robots d’entraînement (GPTBot, ClaudeBot, Google-Extended, CCBot) collectent des données pour entraîner des modèles — les bloquer relève d’un choix de politique. Les bots de recherche et de récupération à la demande (OAI-SearchBot, ChatGPT-User, Claude-SearchBot, PerplexityBot) sont ceux qui permettent aux assistants IA de vous citer et de renvoyer vers vous. La plupart des marques bloquent tout au plus l’entraînement et laissent la recherche IA autorisée.
Bloquer Google-Extended me retire-t-il des AI Overviews ?
Non. Google-Extended contrôle uniquement si votre contenu sert à entraîner et à ancrer les modèles Gemini. Les AI Overviews et AI Mode font partie de la recherche Google et utilisent Googlebot — bloquer Googlebot vous retirerait entièrement de Google.
robots.txt suffit-il à exclure une page de Google ?
Non. robots.txt empêche l’exploration, pas l’indexation — une URL bloquée peut tout de même être indexée grâce aux liens qui pointent vers elle, sans description. Pour exclure une page des résultats de recherche, autorisez l’exploration et utilisez une balise meta noindex ou un en-tête X-Robots-Tag.
Que se passe-t-il si mon robots.txt renvoie une erreur ?
Un 404 signifie que tout peut être exploré. Une erreur serveur 5xx est traitée par Google comme « tout interdire » pendant un temps, ce qui peut stopper l’exploration de tout votre site — assurez-vous donc que robots.txt est servi de façon fiable avec un code 200.
Puis-je tester des modifications avant de les publier ?
Oui. Après un test, modifiez le robots.txt et le chemin dans l’éditeur — le tableau de résultats se met à jour instantanément dans votre navigateur, pour tester des règles en toute sécurité avant de les déployer.