Testador de robots.txt para bots de IA e Googlebot
O GPTBot, o ClaudeBot, o PerplexityBot e o Googlebot conseguem rastrear sua página? Teste qualquer URL com o seu robots.txt ao vivo, veja a regra exata que se aplica e experimente correções antes de publicá-las.
Informe qualquer URL
Buscamos o robots.txt desse site e testamos o caminho exato que você informou — não apenas a página inicial.
Veja o veredito de cada bot
20 crawlers de busca, de busca com IA e de treinamento de IA, cada um com o grupo e a regra que decidem se ele tem permissão.
Edite e teste de novo
Altere as regras no editor ou adicione nosso snippet “bloquear treinamento, permitir busca com IA” e veja os resultados se atualizarem na hora.
Perguntas frequentes
Como este testador de robots.txt decide se um bot está bloqueado?
Ele segue a RFC 9309, o padrão de robots.txt usado pelo Google: um crawler obedece ao grupo que cita o seu user-agent (sem diferenciar maiúsculas e minúsculas); se não houver nenhum, ele recorre ao grupo User-agent: *. Dentro desse grupo, vence o caminho Allow ou Disallow correspondente mais longo, e o Allow vence em caso de empate. Curingas (*) e âncoras de fim de URL ($) são suportados.
Devo bloquear o GPTBot, o ClaudeBot e outros crawlers de IA?
Depende dos seus objetivos. Os crawlers de treinamento (GPTBot, ClaudeBot, Google-Extended, CCBot) coletam dados para treinar modelos — bloqueá-los é uma decisão de política. Os bots de busca e de acesso a pedido do usuário (OAI-SearchBot, ChatGPT-User, Claude-SearchBot, PerplexityBot) são os que permitem que os assistentes de IA citem você e linkem para o seu site. A maioria das marcas bloqueia no máximo o treinamento e mantém a busca com IA permitida.
Bloquear o Google-Extended me remove dos AI Overviews?
Não. O Google-Extended controla apenas se o seu conteúdo é usado para treinar e embasar os modelos Gemini. Os AI Overviews e o AI Mode fazem parte da Busca do Google e usam o Googlebot — bloquear o Googlebot removeria você do Google por completo.
O robots.txt basta para manter uma página fora do Google?
Não. O robots.txt impede o rastreamento, não a indexação — uma URL bloqueada ainda pode ser indexada a partir de links que apontam para ela, sem descrição. Para manter uma página fora dos resultados de busca, permita o rastreamento e use uma meta tag noindex ou um cabeçalho X-Robots-Tag.
O que acontece se o meu robots.txt retornar um erro?
Um 404 significa que tudo pode ser rastreado. Um erro de servidor 5xx é tratado pelo Google como “bloquear tudo” por um tempo, o que pode interromper o rastreamento do site inteiro — então garanta que o robots.txt seja servido de forma confiável com status 200.
Posso testar alterações antes de publicá-las?
Sim. Depois de um teste, edite o robots.txt e o caminho no editor — a tabela de resultados se atualiza na hora no seu navegador, para você testar regras com segurança antes de publicá-las.