اختبار robots.txt لـبوتات الذكاء الاصطناعي وGooglebot

تتبع الأداة RFC 9309، وهو معيار robots.txt الذي تستخدمه Google: يلتزم الزاحف بالمجموعة التي تذكر وكيل المستخدم الخاص به (user-agent، دون تمييز لحالة الأحرف)؛ وإن لم توجد، يعود إلى مجموعة User-agent: *. وداخل تلك المجموعة يفوز أطول مسار Allow أو Disallow مطابق، وعند التعادل يفوز Allow. وتُدعم أحرف البدل (*) ومثبّتات نهاية عنوان URL ‏($).

يعتمد ذلك على أهدافك. زواحف التدريب (GPTBot وClaudeBot وGoogle-Extended وCCBot) تجمع البيانات لتدريب النماذج — وحظرها خيار يتعلق بسياستك. أما بوتات البحث والجلب نيابةً عن المستخدم (OAI-SearchBot وChatGPT-User وClaude-SearchBot وPerplexityBot) فهي ما يتيح لمساعدات الذكاء الاصطناعي الاستشهاد بك والربط إليك. تحظر معظم العلامات التجارية التدريب على الأكثر، وتُبقي بحث الذكاء الاصطناعي مسموحًا.

لا. يتحكّم Google-Extended فقط في استخدام محتواك لتدريب نماذج Gemini وتأسيس إجاباتها. أما AI Overviews وAI Mode فجزء من بحث Google وتستخدم Googlebot — وحظر Googlebot سيزيلك من Google بالكامل.

لا. يمنع robots.txt الزحف، لا الفهرسة — فقد يُفهرس عنوان URL محظور اعتمادًا على الروابط التي تشير إليه، دون وصف. لإبقاء صفحة خارج نتائج البحث، اسمح بالزحف واستخدم وسم meta ‏noindex أو ترويسة X-Robots-Tag.

الخطأ 404 يعني أن الزحف إلى كل شيء مسموح. أما خطأ الخادم 5xx فتعامله Google على أنه «احظر كل شيء» لفترة من الوقت، مما قد يوقف الزحف إلى موقعك بالكامل — لذا تأكّد من أن robots.txt يُقدَّم بشكل موثوق مع الرمز 200.

نعم. بعد الاختبار، عدّل robots.txt والمسار في المحرّر — يتحدّث جدول النتائج فورًا في متصفحك، لتجرّب القواعد بأمان قبل نشرها.