Yapay zeka uyumluluğu
Yapay zeka tarayıcılarının sitenize ulaşıp onu anlayabildiğini kontrol edin: 12 bot için robots.txt, llms.txt, site haritası ve yapılandırılmış veri.
ChatGPT, Claude, Perplexity, Gemini veya Google AI Mode'un sitenizi kaynak gösterebilmesi için önce tarayıcılarının içeri girmesine izin verilmeli ve sayfalarınız JavaScript olmadan okunabilmelidir. Yapay zeka uyumluluğu denetimi tam olarak bunu kontrol eder. Birkaç saniye içinde her yapay zeka tarayıcısı için robots.txt kurallarınızı test eder, llms.txt dosyasını arar, site haritanızı bulur ve ana sayfanızı analiz eder. Ardından 100 üzerinden bir puan ve her sorun için somut bir çözüm verir.
Yapay zeka görünürlüğü üzerinde çalışmadan önce teknik engelleri ortadan kaldırmak isteyen site sahipleri ve SEO uzmanları için hazırlandı. Proje → Yapay zeka uyumluluğu bölümünden açabilir veya doğrudan açabilirsiniz.
Nasıl çalışır
Denetim projenizin alan adında beş aşamada çalışır; her kontrol bittiğinde kontrol listesi canlı olarak işaretlenir:
- Sitenize bağlanılıyor – HTTPS.
- robots.txt okunuyor – robots.txt, yapay zeka arama ve yanıt tarayıcıları, yapay zeka eğitim tarayıcıları.
- llms.txt aranıyor – llms.txt ve llms-full.txt.
- XML site haritanız bulunuyor – robots.txt'de listelenen ya da /sitemap.xml veya /sitemap_index.xml adresindeki harita.
- Ana sayfa içeriği analiz ediliyor – yapılandırılmış veri, sunucu tarafında oluşturulan metin, engelleme meta etiketleri, başlık ve açıklama.
Denetimler bir zamanlamaya göre değil, düğmeye tıkladığınızda çalışır. Tamamlanan her çalıştırma geçmişe kaydedilir.
Kontrol ettiğimiz yapay zeka tarayıcıları
| Tarayıcı | Sahibi | Amaç |
|---|---|---|
| OAI-SearchBot | OpenAI | Arama / yanıtlar |
| ChatGPT-User | OpenAI | Canlı çekme |
| GPTBot | OpenAI | Eğitim |
| Claude-SearchBot | Anthropic | Arama / yanıtlar |
| ClaudeBot | Anthropic | Eğitim |
| PerplexityBot | Perplexity | Arama / yanıtlar |
| Googlebot | Arama / yanıtlar | |
| Google-Extended | Eğitim | |
| Bingbot | Microsoft | Arama / yanıtlar |
| Applebot-Extended | Apple | Eğitim |
| CCBot | Common Crawl | Eğitim |
| meta-externalagent | Meta | Eğitim |
Her tarayıcı için ana sayfanızı çekmesine izin verilip verilmediğini kontrol ederiz. Bir tarayıcı, robots.txt'de kendi adını anan gruba, böyle bir grup yoksa User-agent: * grubuna uyar. robots.txt dosyanız yoksa tüm tarayıcılara izin verilmiş sayılır.
Adım adım
- Proje → Yapay zeka uyumluluğu bölümünü açın.
- Denetimi çalıştır'a tıklayın. Birkaç saniye sürer.
- Üstteki değerlendirmeyi ve puan halkasını okuyun, ardından kontrol listesini gözden geçirin. Her kontrol Başarılı, Dikkat gerekiyor, Sorun veya Not durumunu ve puanını gösterir; bir sorun varsa altında Çözüm: satırı yer alır.
- Her tarayıcının durumunu (İzinli veya Engelli) ve eşleşen robots.txt kuralını görmek için Yapay zeka tarayıcı erişimi tablosuna bakın.
- Oluşturulan llms.txt kartına inin (zaten bir dosyanız varsa Önerilen llms.txt). Gözden geçirin, ardından Kopyala veya İndir'e tıklayıp
https://alanadiniz/llms.txtadresine yükleyin. - Düzeltmeleri sitenizde yapın, ardından Tekrar çalıştır'a tıklayın.
- Yeni puanı ve bir önceki çalıştırmadan bu yana hangi kontrolleri düzelttiğinizi ya da bozduğunuzu görmek için Denetim geçmişi'ne bakın.
Rakamlar ne anlama geliyor
Puan, kazandığınız puanların en yüksek puana (110) bölünmesiyle bulunur ve 100 üzerinden gösterilir:
| Kontrol | Puan | Tam puan koşulu |
|---|---|---|
| HTTPS | 10 | Site HTTPS üzerinden sunuluyor |
| Yapay zeka arama ve yanıt tarayıcılarına izin var | 30 | 6 arama ve canlı çekme tarayıcısından hiçbiri engelli değil (tarayıcı başına kısmi puan) |
| Yapay zeka eğitim tarayıcıları | 5 | Hiçbir eğitim tarayıcısı engelli değil (bazıları engelliyse 2; Not olarak gösterilir) |
| robots.txt | 5 | robots.txt var (yoksa 2) |
| llms.txt | 10 | Geçerli bir /llms.txt bulundu (sorunluysa 5) |
| llms-full.txt | 5 | /llms-full.txt var (isteğe bağlı) |
| XML site haritası | 10 | Site haritasına erişilebiliyor |
| Yapılandırılmış veri (JSON-LD) | 10 | Ana sayfada Organization türünde şema var (diğer türler için 6) |
| Sunucu tarafında oluşturulan içerik | 10 | Ham HTML'de 200'den fazla kelime metin var (içerik yalnızca JavaScript ile oluşuyorsa 0) |
| Yapay zeka engelleme meta etiketi yok | 5 | Robots meta etiketinde veya X-Robots-Tag başlığında noai, noimageai ya da noindex yok |
| Başlık ve meta açıklama | 10 | İkisi de var (her biri 5) |
Yanıt tarayıcılarını engellemek diğer her şeyden ağır basar. Hepsi engelliyse puan en fazla 30, bazıları engelliyse en fazla 80 olabilir.
Değerlendirmeler: 85 ve üzeri Mükemmel, 65–84 İyi, 40–64 Geliştirilmeli, 40'ın altı Engelli veya görünmez.
llms.txt geçerli sayılır eğer bir H1 başlıkla (# Site adı) başlıyor ve en az bir sayfaya link veriyorsa. Ayrıca > özet biçiminde bir alıntı satırı olmamasını ve linklerin ## bölümleri altında gruplanmamasını da işaretleriz. Adres bir HTML sayfası döndürüyorsa (soft 404), dosya yok sayılır.
Oluşturulan llms.txt, ana sayfanızın başlığı ve açıklaması ile site haritanızdaki en fazla 30 URL kullanılarak hazırlanır; URL'ler ilk yol parçasına göre gruplanır. Site haritası yoksa ana sayfanız kullanılır.
Denetim geçmişi, proje başına son 50 çalıştırmanızı saklar. Her çalıştırma için puanı ve bir öncekine göre değişimini, Başarılı · Uyarı · Sorun sayılarını ve Önceki çalıştırmadan bu yana değişiklikler sütununu gösterir. Eski bir çalıştırmayı yeniden açmak için Ayrıntıları gör'e tıklayın.
İpuçları
- Eğitim tarayıcıları (GPTBot, ClaudeBot, Google-Extended ve diğerleri) bir politika tercihidir. Onları engellemek yalnızca birkaç puana mal olur. Arama ve canlı çekme tarayıcılarını engellemek ise motorların sizi kaynak göstermesini engeller.
User-agent: *grubunuz katıysa tarayıcılara adlarıyla izin verin. Adıyla anılan bir grup, joker gruptan önceliklidir.- Sunucu tarafında oluşturulan içerik kontrolü başarısızsa, yapay zeka tarayıcılarının çoğu neredeyse boş bir sayfa görür. Önemli içeriğinizi sunucu tarafında (SSR veya statik oluşturma) üretin.
- Motorların markanızı tanıyabilmesi için adınızı, logonuzu, URL'nizi ve sameAs profil linklerinizi içeren bir Organization şeması ekleyin.
- Denetimi proje başına saatte en fazla 30 kez çalıştırabilirsiniz. robots.txt'ye veya şablonlara dokunan her yayından sonra tekrar çalıştırın.
- Proje olmadan hızlı bir kontrol mü istiyorsunuz? Ücretsiz llms.txt kontrol ve oluşturma aracını ve robots.txt yapay zeka bot testini kullanın.
Sık sorulan sorular
Yapay zeka eğitim tarayıcılarını engellemeli miyim?
Bu sizin kararınız. Eğitim tarayıcılarını engellemek içeriğinizi model eğitim verilerinin dışında tutar, ancak modeller markanız hakkında daha az şey bilebilir. Denetim bunu Not olarak işaretler ve yalnızca 3 puan düşer. Kaynak gösterilmek istiyorsanız arama ve canlı çekme tarayıcılarını asla engellemeyin.
llms.txt zorunlu mu?
Hiçbir standart bunu zorunlu kılmaz, ancak yapay zeka araçlarına önemli sayfalarınızın temiz bir haritasını sunar. Burada 10 puan değerindedir ve denetim, gözden geçirip yüklemeniz için size bir başlangıç dosyası yazar.
Denetim sitemin tüm sayfalarını kontrol ediyor mu?
Hayır. robots.txt, llms.txt, llms-full.txt ve site haritanızı kontrol eder, ana sayfanızı analiz eder. Sayfalarınızın tam taraması için Site denetimi modülünü kullanın.
Denetim otomatik çalışıyor mu?
Hayır. Denetimi çalıştır veya Tekrar çalıştır'a tıkladığınızda çalışır ve karşılaştırabilmeniz için her çalıştırma Denetim geçmişi'ne kaydedilir.
İzin verdiğim bir tarayıcı neden engelli görünüyor?
Eşleşen kural sütununa bakın. Tarayıcıyı adıyla anan bir grup User-agent: * grubundan önceliklidir ve bir grup içinde en uzun eşleşen yol kazanır. Adıyla anılan bir grupta unutulmuş bir Disallow: / satırı en yaygın nedendir.