منشئ Robots.txt - قواعد زاحف دون أفخاخ الصياغة
سطر خاطئ واحد في robots.txt قد يخفي موقعاً بأكمله عن Google - أو يفشل في إخفاء أي شيء أصلاً. ابنِه هنا، مع إعدادات مسبقة للحالات الشائعة وفحوص على الناتج.
كيفية استخدام منشئ Robots.txt
- اختر إعداداً مسبقاً، أو ابدأ من السماح بكل شيء وخصّص.
- أضف مجموعة لأي زاحف محدد (على سبيل المثال GPTBot) بقواعده الخاصة.
- اسرد مسارات الحظر والسماح، واحد لكل سطر - المسارات تبدأ بـ /.
- أضف رابط خريطة موقعك وانقر إنشاء.
- اعبر ملاحظات فحص السلامة، ثم ضع الملف على yourdomain.com/robots.txt.
كيف يعمل
ملف robots.txt هو مجموعة من المجموعات: كل مجموعة تسمّي وكيل مستخدم واحد أو أكثر (زواحف) تليها قواعد مسارات Disallow وAllow التي تنطبق عليها. وDisallow الفارغة تعني أن كل شيء مسموح؛ Disallow: / يحظر الموقع بأكمله لذلك الوكيل. تُطابق القواعد بالبادئة، ويدعم Google أيضاً Allow لاستثناء استثناءات من Disallow أوسع. يصدر هذا المنشئ مجموعات بالتنسيق القياسي، يلحق سطر Sitemap، ثم يفحص سلامة ناتجه الخاص: الحقول المجهولة، المسارات التي لا تبدأ بـ /، وأسطر خرائط المواقع التي ليست روابط كاملة كلها تُعلَّم. تذكّر robots.txt طلب، لا قفل - الزواحف حسنة التصرف تطيعه، الخبيثة قد لا تطيعه، فلا تعتمد عليه أبداً لحماية الأسرار.
الأسئلة الشائعة
هل هذا المنشئ مجاني؟
نعم - مجاني بالكامل، دون تسجيل.
أين يذهب robots.txt؟
في جذر نطاقك: https://yourdomain.com/robots.txt - لا يُقرأ أي مكان آخر.
هل يحظر robots.txt الصفحات من نتائج البحث تماماً؟
يحظر الزحف، لا الفهرسة: رابط محظور قد يظهر في النتائج (دون وصف) إذا ربطت به مواقع أخرى. استخدم وسم noindex لإبقاء صفحة خارجاً تماماً.
هل أستطيع حظر زواحف الذكاء الاصطناعي؟
إعداد AI المسبق يضيف مجموعات تحظر GPTBot وCCBot وGoogle-Extended. الزواحف المتوافقة تكرّمه؛ لا يستطيع إيقاف الكاشطات التي تتجاهل robots.txt.
هل يُرفع أي شيء؟
لا. الإنشاء والفحوص تعمل في متصفحك.
أدوات مطوّرين ذات صلة
منشئ وسوم Meta
أنشئ كتلة HTML وصفية جاهزة للصق - العنوان، الوصف، الروبوتات، الرابط القانوني - مع معاينة بأسلوب SERP.
منشئ Open Graph وبطاقة Twitter
ابنِ وسوم Open Graph وبطاقات Twitter مع معاينة بطاقة، بحيث تبدو الروابط المشتركة صحيحة في كل مكان.
منشئ Robots.txt
ابنِ robots.txt صالحاً بقواعد سماح وحظر لكل وكيل وسطر خريطة موقع.