Probador de robots.txt para bots de IA y Googlebot
¿Pueden GPTBot, ClaudeBot, PerplexityBot y Googlebot rastrear tu página? Prueba cualquier URL con tu robots.txt real, mira la regla exacta que se aplica y prueba las correcciones antes de publicarlas.
Introduce cualquier URL
Obtenemos el robots.txt de ese sitio y probamos la ruta exacta que has introducido, no solo la página de inicio.
Mira el veredicto de cada bot
20 rastreadores de búsqueda, de búsqueda con IA y de entrenamiento de IA, cada uno con el grupo y la regla que deciden si tiene acceso.
Edita y vuelve a probar
Cambia las reglas en el editor o añade nuestro fragmento “bloquear entrenamiento, permitir búsqueda con IA” y mira cómo se actualizan los resultados al instante.
Preguntas frecuentes
¿Cómo decide este probador de robots.txt si un bot está bloqueado?
Sigue el RFC 9309, el estándar de robots.txt que usa Google: un rastreador obedece al grupo que nombra su user-agent (sin distinguir mayúsculas y minúsculas); si no hay ninguno, recurre al grupo User-agent: *. Dentro de ese grupo gana la ruta Allow o Disallow coincidente más larga, y en caso de empate gana Allow. Se admiten comodines (*) y anclas de fin de URL ($).
¿Debo bloquear GPTBot, ClaudeBot y otros rastreadores de IA?
Depende de tus objetivos. Los rastreadores de entrenamiento (GPTBot, ClaudeBot, Google-Extended, CCBot) recopilan datos para entrenar modelos: bloquearlos es una decisión de política. Los bots de búsqueda y de consulta por parte del usuario (OAI-SearchBot, ChatGPT-User, Claude-SearchBot, PerplexityBot) son los que permiten que los asistentes de IA te citen y te enlacen. La mayoría de las marcas, como mucho, bloquean el entrenamiento y mantienen permitida la búsqueda con IA.
¿Bloquear Google-Extended me saca de los AI Overviews?
No. Google-Extended solo controla si tu contenido se usa para entrenar y fundamentar los modelos Gemini. AI Overviews y AI Mode forman parte de la Búsqueda de Google y usan Googlebot: bloquear Googlebot te sacaría de Google por completo.
¿Basta con robots.txt para que una página no aparezca en Google?
No. robots.txt impide el rastreo, no la indexación: una URL bloqueada puede indexarse igualmente a partir de los enlaces que apuntan a ella, sin descripción. Para que una página no aparezca en los resultados de búsqueda, permite el rastreo y usa una metaetiqueta noindex o una cabecera X-Robots-Tag.
¿Qué pasa si mi robots.txt devuelve un error?
Un 404 significa que se puede rastrear todo. Google trata un error de servidor 5xx como “no permitir nada” durante un tiempo, lo que puede detener el rastreo de todo tu sitio, así que asegúrate de que robots.txt se sirve siempre con un 200.
¿Puedo probar los cambios antes de publicarlos?
Sí. Después de una prueba, edita el robots.txt y la ruta en el editor: la tabla de resultados se actualiza al instante en tu navegador, para que puedas probar reglas con seguridad antes de publicarlas.