مختبِر Robots.txt - مسموح أو محظور، وبالضبط لماذا
ملف robots.txt سهل الكتابة وصعب الاستنتاج عنه. يجيب هذا المختبِر عن السؤال الوحيد المهم لزاحف وعنوان URL محددين.
كيفية استخدام مختبِر Robots.txt
- الصق محتوى robots.txt الخاص بك.
- أدخل الرابط الكامل للاختبار واسم وكيل المستخدم (Googlebot، GPTBot، *).
- انقر اختبار هذا الرابط.
- اقرأ الحكم وقاعدة المطابقة التي أنتجته.
كيف يعمل
تتبع المطابقة المعيار (RFC 9309، كما ينفّذه Google): أولاً تُختار مجموعة الزاحف - المجموعة التي تسمّي رمز وكيل المستخدم الأكثر تحديداً المطابق تفوز على مجموعة * - ثم، داخل تلك المجموعة، تفوز القاعدة التي يتطابق نمط مسارها مع مسار الرابط وهي الأطول؛ وعند التعادل، يتفوّق Allow على Disallow. تدعم الأنماط * كحرف بدل و$ لاحقاً كمرساة نهاية. Disallow الفارغة لا تتطابق مع شيء، ولهذا يسمح "Disallow:" وحده بكل شيء.
الأسئلة الشائعة
هل هذا المختبِر مجاني؟
نعم - مجاني بالكامل، دون تسجيل.
ما قواعد المطابقة التي يتبعها؟
RFC 9309 / تنفيذ Google: مجموعة الوكلاء الأكثر تحديداً، قاعدة المطابقة الأطول، Allow يفوز بالتعادل، دعم أنماط * و$.
رابطي محظور هنا لكنه مفهرس في Google - لماذا؟
الروبوتات تحظر الزحف، لا الفهرسة. صفحة محظورة ما تزال قد تُفهرس من الروابط، تُعرض دون وصف.
هل يجلب robots.txt الحي الخاص بي؟
لا - الصق المحتوى. لا تستطيع المتصفحات جلب ملفات مواقع عشوائية (CORS)، واللصق يتيح لك أيضاً اختبار مسودة قبل نشرها.
هل يُرفع أي شيء؟
لا. الاختبار يعمل في متصفحك.