Robots.txt جنریٹر - Syntax جالوں کے بغیر Crawler قواعد
robots.txt میں ایک غلط لائن پوری سائٹ کو Google سے چھپا سکتی ہے - یا کچھ بھی چھپانے میں ناکام ہو سکتی ہے۔ اسے یہاں بنائیں، عام صورتوں کے لیے presets اور آؤٹ پٹ پر جانچوں کے ساتھ۔
Robots.txt جنریٹر کا استعمال کیسے کریں
- ایک preset منتخب کریں، یا سب کچھ اجازت دیں سے شروع کریں اور حسب ضرورت بنائیں۔
- کسی مخصوص کرالر (مثلاً GPTBot) کے لیے اس کے اپنے اصولوں کے ساتھ ایک گروپ شامل کریں۔
- disallow اور allow راستے درج کریں، ایک فی لائن - راستے / سے شروع ہوتے ہیں۔
- اپنا سائٹ میپ URL شامل کریں اور بنائیں پر کلک کریں۔
- معقولیت-جانچ نوٹس سے گزریں، پھر فائل yourdomain.com/robots.txt پر رکھیں۔
یہ کیسے کام کرتا ہے
ایک robots.txt فائل گروپس کا مجموعہ ہے: ہر گروپ ایک یا زیادہ user-agents (کرالر) کا نام دیتا ہے جس کے بعد Disallow اور Allow راستہ اصول آتے ہیں جو ان پر لاگو ہوتے ہیں۔ ایک خالی Disallow کا مطلب ہے سب کچھ جائز ہے؛ Disallow: / اس ایجنٹ کے لیے پوری سائٹ روکتا ہے۔ قواعد سابقے سے ملائے جاتے ہیں، اور Google وسیع تر Disallow سے استثنیٰ تراشنے کے لیے Allow کی بھی حمایت کرتا ہے۔ یہ جنریٹر گروپس معیاری فارمیٹ میں خارج کرتا ہے، Sitemap لائن شامل کرتا ہے، اور پھر اپنی آؤٹ پٹ کی معقولیت-جانچ کرتا ہے: نامعلوم فیلڈز، / سے شروع نہ ہونے والے راستے، اور مکمل URLs نہ ہونے والی سائٹ میپ لائنیں سب نشان زد۔ یاد رکھیں robots.txt ایک درخواست ہے، تالا نہیں - اچھے برتاؤ والے crawlers اس کی پابندی کرتے ہیں، بدنیتی والے نہیں کر سکتے، لہٰذا رازوں کی حفاظت کے لیے اس پر کبھی بھروسہ نہ کریں۔
اکثر پوچھے گئے سوالات
کیا یہ جنریٹر مفت ہے؟
ہاں - مکمل مفت، کوئی سائن اپ نہیں۔
robots.txt کہاں جاتا ہے؟
آپ کے ڈومین کی جڑ پر: https://yourdomain.com/robots.txt - اور کہیں نہیں پڑھا جاتا۔
کیا robots.txt صفحات کو تلاش نتائج سے مکمل روکتا ہے؟
یہ crawling روکتا ہے، indexing نہیں: ایک روکا گیا URL اب بھی نتائج میں ظاہر ہو سکتا ہے (بغیر تفصیل کے) اگر دیگر سائٹس اس سے لنک کریں۔ صفحے کو مکمل باہر رکھنے کے لیے noindex ٹیگ استعمال کریں۔
کیا میں AI کرالر روک سکتا ہوں؟
AI preset ایسے گروپس شامل کرتا ہے جو GPTBot, CCBot اور Google-Extended کو روکتے ہیں۔ مطابق crawlers اس کا احترام کرتے ہیں؛ یہ robots.txt نظر انداز کرنے والے scrapers کو نہیں روک سکتا۔
کیا کچھ اپ لوڈ ہوتا ہے؟
نہیں۔ بنانا اور جانچیں آپ کے براؤزر میں چلتی ہیں۔
متعلقہ ڈویلپر ٹولز
میٹا ٹیگ جنریٹر
ایک تیار-برائے-پیسٹ HTML میٹا بلاک بنائیں - عنوان، تفصیل، robots, canonical - ایک SERP-اسٹائل پیش منظر کے ساتھ۔
Open Graph اور Twitter Card جنریٹر
Open Graph اور Twitter کارڈ ٹیگز ایک کارڈ پیش منظر کے ساتھ بنائیں، تاکہ شیئر شدہ لنکس ہر جگہ درست دکھیں۔
Robots.txt جنریٹر
ایک درست robots.txt فی-ایجنٹ allow اور disallow اصولوں اور ایک سائٹ میپ لائن کے ساتھ بنائیں۔