Yapay zeka botları ve Googlebot için robots.txt test aracı
GPTBot, ClaudeBot, PerplexityBot ve Googlebot sayfanızı tarayabiliyor mu? Herhangi bir URL'yi canlı robots.txt dosyanıza karşı test edin, uygulanan kuralı birebir görün ve düzeltmeleri yayına almadan önce deneyin.
Herhangi bir URL girin
O sitenin robots.txt dosyasını çekiyor ve yalnızca ana sayfayı değil, girdiğiniz yolu birebir test ediyoruz.
Her botun kararını görün
Arama, yapay zeka araması ve yapay zeka eğitimi için 20 tarayıcı; her biri izin verilip verilmediğini belirleyen grup ve kuralla birlikte.
Düzenleyin ve yeniden test edin
Editörde kuralları değiştirin ya da “eğitimi engelle, yapay zeka aramasına izin ver” kod parçamızı ekleyin; sonuçların anında güncellendiğini görün.
Sıkça sorulan sorular
Bu robots.txt test aracı bir botun engellendiğine nasıl karar veriyor?
Google'ın kullandığı robots.txt standardı RFC 9309'u izler: Bir tarayıcı, kendi user-agent'ını adıyla anan gruba uyar (büyük/küçük harf duyarsız); böyle bir grup yoksa User-agent: * grubuna döner. Bu grup içinde en uzun eşleşen Allow veya Disallow yolu kazanır, eşitlikte Allow kazanır. Joker karakterler (*) ve URL sonu işaretleri ($) desteklenir.
GPTBot, ClaudeBot ve diğer yapay zeka tarayıcılarını engellemeli miyim?
Hedeflerinize bağlı. Eğitim tarayıcıları (GPTBot, ClaudeBot, Google-Extended, CCBot) model eğitmek için veri toplar — onları engellemek bir politika tercihidir. Arama ve kullanıcı adına içerik çeken botlar (OAI-SearchBot, ChatGPT-User, Claude-SearchBot, PerplexityBot) ise yapay zeka asistanlarının size atıf yapmasını ve link vermesini sağlar. Çoğu marka en fazla eğitimi engeller, yapay zeka aramasına izin vermeye devam eder.
Google-Extended'ı engellemek beni AI Overviews'tan çıkarır mı?
Hayır. Google-Extended yalnızca içeriğinizin Gemini modellerini eğitmek ve beslemek için kullanılıp kullanılmayacağını kontrol eder. AI Overviews ve AI Mode, Google Arama'nın parçasıdır ve Googlebot kullanır — Googlebot'u engellemek sizi Google'dan tamamen çıkarır.
Bir sayfayı Google dışında tutmak için robots.txt yeterli mi?
Hayır. robots.txt taramayı durdurur, indekslemeyi değil — engellenmiş bir URL, ona işaret eden linkler sayesinde açıklama olmadan yine de indekslenebilir. Bir sayfayı arama sonuçlarının dışında tutmak için taramaya izin verin ve noindex meta etiketi ya da X-Robots-Tag başlığı kullanın.
robots.txt dosyam hata döndürürse ne olur?
404, her şeyin taranabileceği anlamına gelir. 5xx sunucu hatası ise Google tarafından bir süre “her şeyi engelle” olarak yorumlanır ve tüm sitenin taranmasını durdurabilir — bu yüzden robots.txt'nizin güvenilir şekilde 200 ile sunulduğundan emin olun.
Değişiklikleri yayınlamadan önce test edebilir miyim?
Evet. Testten sonra editörde robots.txt'yi ve yolu düzenleyin — sonuç tablosu tarayıcınızda anında güncellenir; böylece kuralları yayına almadan önce güvenle deneyebilirsiniz.