شعار Loona AutomationLoona أدوات المطوّرين
الرئيسية › أدوات المطوّرين › مختبِر Robots.txt

مختبِر Robots.txt - مسموح أو محظور، وبالضبط لماذا

باختصار: يطبّق مختبِر Robots.txt قواعد المطابقة الحقيقية - مجموعة وكيل المستخدم الأكثر تحديداً، ثم قاعدة مسار المطابقة الأطول، مع Allow يفوز بالتعادل - ويُظهر الحكم بالإضافة إلى القاعدة الدقيقة التي قررته.

ملف robots.txt سهل الكتابة وصعب الاستنتاج عنه. يجيب هذا المختبِر عن السؤال الوحيد المهم لزاحف وعنوان URL محددين.

خاص بالتصميم: كل شيء في هذه الأداة يحدث 100% في متصفحك عبر JavaScript. إدخالك لا يُرفع إلى خادم أبداً، لا يُخزّن أبداً ولا نراه أبداً - أغلق علامة التبويب وكل شيء يختفي.

كيفية استخدام مختبِر Robots.txt

  1. الصق محتوى robots.txt الخاص بك.
  2. أدخل الرابط الكامل للاختبار واسم وكيل المستخدم (Googlebot، GPTBot، *).
  3. انقر اختبار هذا الرابط.
  4. اقرأ الحكم وقاعدة المطابقة التي أنتجته.

كيف يعمل

تتبع المطابقة المعيار (RFC 9309، كما ينفّذه Google): أولاً تُختار مجموعة الزاحف - المجموعة التي تسمّي رمز وكيل المستخدم الأكثر تحديداً المطابق تفوز على مجموعة * - ثم، داخل تلك المجموعة، تفوز القاعدة التي يتطابق نمط مسارها مع مسار الرابط وهي الأطول؛ وعند التعادل، يتفوّق Allow على Disallow. تدعم الأنماط * كحرف بدل و$ لاحقاً كمرساة نهاية. ‏Disallow الفارغة لا تتطابق مع شيء، ولهذا يسمح "Disallow:" وحده بكل شيء.

الأسئلة الشائعة

هل هذا المختبِر مجاني؟

نعم - مجاني بالكامل، دون تسجيل.

ما قواعد المطابقة التي يتبعها؟

‏RFC 9309 / تنفيذ Google: مجموعة الوكلاء الأكثر تحديداً، قاعدة المطابقة الأطول، Allow يفوز بالتعادل، دعم أنماط * و$.

رابطي محظور هنا لكنه مفهرس في Google - لماذا؟

الروبوتات تحظر الزحف، لا الفهرسة. صفحة محظورة ما تزال قد تُفهرس من الروابط، تُعرض دون وصف.

هل يجلب robots.txt الحي الخاص بي؟

لا - الصق المحتوى. لا تستطيع المتصفحات جلب ملفات مواقع عشوائية (CORS)، واللصق يتيح لك أيضاً اختبار مسودة قبل نشرها.

هل يُرفع أي شيء؟

لا. الاختبار يعمل في متصفحك.

أدوات مطوّرين ذات صلة

ضمّن هذه الأداة على موقعك — مجاناً

أضف هذه الأداة إلى موقعك أو مدونتك الخاصة — فهي مجانية تماماً، لا تحتاج تسجيلاً، وتظهر دائماً بأحدث إصدار. انسخ الكود أدناه والصقه في صفحتك حيث تريد أن تظهر الأداة. الحفاظ على سطر الاعتماد الصغير “مقدَّم من Loona Automation” تحت التضمين يساعد في إبقاء هذه الأداة مجانية — لكنك حرّ في تنسيقه أو إزالته؛ فالأداة تعمل في كلتا الحالتين.