Sİ botları və Googlebot üçün robots.txt testi
GPTBot, ClaudeBot, PerplexityBot və Googlebot səhifənizi skan edə bilirmi? İstənilən URL-i canlı robots.txt faylınıza qarşı test edin, tətbiq olunan dəqiq qaydanı görün və düzəlişləri yayımlamazdan əvvəl sınayın.
İstənilən URL-i daxil edin
Həmin saytın robots.txt faylını yükləyir və yalnız ana səhifəni deyil, daxil etdiyiniz dəqiq yolu test edirik.
Hər botun nəticəsini görün
20 axtarış, Sİ axtarışı və Sİ təlimi botu — hər biri icazə verilib-verilmədiyini müəyyən edən qrup və qayda ilə.
Redaktə edin və yenidən test edin
Redaktorda qaydaları dəyişin və ya «təlimi blokla, Sİ axtarışına icazə ver» parçamızı əlavə edin və nəticələrin dərhal yeniləndiyini izləyin.
Tez-tez verilən suallar
Bu robots.txt testi botun bloklandığını necə müəyyən edir?
O, Google-un istifadə etdiyi robots.txt standartı olan RFC 9309-a əməl edir: bot öz user-agent-ini adlandıran qrupa tabe olur (böyük-kiçik hərf fərqi nəzərə alınmır); belə qrup yoxdursa, User-agent: * qrupuna keçir. Həmin qrupda ən uzun uyğun gələn Allow və ya Disallow yolu qalib gəlir, bərabərlik halında isə Allow qalib gəlir. Joker simvollar (*) və URL sonu işarələri ($) dəstəklənir.
GPTBot, ClaudeBot və digər Sİ botlarını bloklamalıyammı?
Bu, məqsədlərinizdən asılıdır. Təlim botları (GPTBot, ClaudeBot, Google-Extended, CCBot) modelləri öyrətmək üçün məlumat toplayır — onları bloklamaq siyasət seçimidir. Axtarış və istifadəçi sorğusu botları (OAI-SearchBot, ChatGPT-User, Claude-SearchBot, PerplexityBot) isə Sİ assistentlərinin sizə istinad etməsinə və link verməsinə imkan yaradır. Əksər brendlər ən çoxu təlimi bloklayır, Sİ axtarışına isə icazə verir.
Google-Extended-i bloklamaq məni AI Overviews-dan çıxarırmı?
Xeyr. Google-Extended yalnız məzmununuzun Gemini modellərinin təlimi və əsaslandırılması üçün istifadə olunub-olunmamasını idarə edir. AI Overviews və AI Mode Google Axtarışın bir hissəsidir və Googlebot-dan istifadə edir — Googlebot-u bloklamaq sizi Google-dan tamamilə çıxarardı.
Səhifəni Google-dan kənarda saxlamaq üçün robots.txt kifayətdirmi?
Xeyr. robots.txt indeksləməni deyil, skan etməni dayandırır — bloklanmış URL ona yönələn linklər vasitəsilə təsvirsiz olaraq yenə də indeksləşdirilə bilər. Səhifəni axtarış nəticələrindən kənarda saxlamaq üçün skan etməyə icazə verin və noindex meta teqi və ya X-Robots-Tag başlığından istifadə edin.
robots.txt faylım xəta qaytararsa, nə baş verir?
404 hər şeyin skan edilə biləcəyi deməkdir. 5xx server xətasını Google bir müddət “hər şeyi qadağan et” kimi qəbul edir və bu, bütün saytınızın skanını dayandıra bilər — buna görə robots.txt-nin etibarlı şəkildə 200 ilə təqdim olunduğuna əmin olun.
Dəyişiklikləri dərc etməzdən əvvəl test edə bilərəmmi?
Bəli. Testdən sonra redaktorda robots.txt-ni və yolu redaktə edin — nəticələr cədvəli brauzerinizdə dərhal yenilənir, beləliklə, qaydaları yayımlamazdan əvvəl təhlükəsiz şəkildə sınaya bilərsiniz.