Tester robots.txt per bot AI e Googlebot
GPTBot, ClaudeBot, PerplexityBot e Googlebot possono scansionare la tua pagina? Testa qualsiasi URL con il tuo robots.txt live, vedi la regola esatta che si applica e prova le correzioni prima di pubblicarle.
Inserisci un URL qualsiasi
Recuperiamo il robots.txt di quel sito e testiamo esattamente il percorso che hai inserito, non solo la homepage.
Vedi il verdetto per ogni bot
20 crawler di ricerca, ricerca AI e addestramento AI, ciascuno con il gruppo e la regola che decide se è consentito.
Modifica e ritesta
Cambia le regole nell’editor o aggiungi il nostro snippet “blocca l’addestramento, consenti la ricerca AI” e guarda i risultati aggiornarsi all’istante.
Domande frequenti
Come decide questo tester robots.txt se un bot è bloccato?
Segue la RFC 9309, lo standard robots.txt usato da Google: un crawler rispetta il gruppo che nomina il suo user-agent (senza distinzione tra maiuscole e minuscole); se non c’è, ricade sul gruppo User-agent: *. All’interno di quel gruppo vince il percorso Allow o Disallow corrispondente più lungo e, a parità, vince Allow. Sono supportati i caratteri jolly (*) e gli ancoraggi di fine URL ($).
Devo bloccare GPTBot, ClaudeBot e gli altri crawler AI?
Dipende dai tuoi obiettivi. I crawler di addestramento (GPTBot, ClaudeBot, Google-Extended, CCBot) raccolgono dati per addestrare i modelli: bloccarli è una scelta di policy. I bot di ricerca e di recupero su richiesta dell’utente (OAI-SearchBot, ChatGPT-User, Claude-SearchBot, PerplexityBot) sono quelli che permettono agli assistenti AI di citarti e linkarti. La maggior parte dei brand blocca al massimo l’addestramento e lascia consentita la ricerca AI.
Bloccare Google-Extended mi esclude dalle AI Overviews?
No. Google-Extended controlla solo se i tuoi contenuti vengono usati per addestrare e fornire contesto ai modelli Gemini. AI Overviews e AI Mode fanno parte della Ricerca Google e usano Googlebot: bloccare Googlebot ti rimuoverebbe del tutto da Google.
Il robots.txt basta a tenere una pagina fuori da Google?
No. Il robots.txt blocca la scansione, non l’indicizzazione: un URL bloccato può comunque essere indicizzato grazie ai link che puntano a esso, senza descrizione. Per tenere una pagina fuori dai risultati di ricerca, consenti la scansione e usa un meta tag noindex o un header X-Robots-Tag.
Cosa succede se il mio robots.txt restituisce un errore?
Un 404 significa che tutto può essere scansionato. Un errore server 5xx viene trattato da Google per un certo periodo come “disallow su tutto”, il che può bloccare la scansione dell’intero sito: assicurati quindi che il robots.txt venga servito in modo affidabile con un 200.
Posso testare le modifiche prima di pubblicarle?
Sì. Dopo un test, modifica il robots.txt e il percorso nell’editor: la tabella dei risultati si aggiorna all’istante nel tuo browser, così puoi provare le regole in sicurezza prima di pubblicarle.