Loona Automation لوگوLoona ڈویلپر ٹولز
ہوم › ڈویلپر ٹولز › Robots.txt جنریٹر

Robots.txt جنریٹر - Syntax جالوں کے بغیر Crawler قواعد

مختصراً: Robots.txt جنریٹر presets اور فی-ایجنٹ قواعد سے درست robots.txt بناتا ہے - فی crawler، allow اور disallow راستے، علاوہ آپ کی سائٹ میپ لائن - اور نتیجہ بھیجنے سے پہلے اس پر معقولیت جانچیں چلاتا ہے۔

robots.txt میں ایک غلط لائن پوری سائٹ کو Google سے چھپا سکتی ہے - یا کچھ بھی چھپانے میں ناکام ہو سکتی ہے۔ اسے یہاں بنائیں، عام صورتوں کے لیے presets اور آؤٹ پٹ پر جانچوں کے ساتھ۔

ڈیزائن سے نجی: اس ٹول میں سب کچھ 100% آپ کے براؤزر میں JavaScript سے ہوتا ہے۔ آپ کا ان پٹ کبھی سرور پر اپ لوڈ نہیں ہوتا، کبھی محفوظ نہیں ہوتا اور ہمارے دیکھنے میں نہیں آتا - ٹیب بند کریں اور سب کچھ ختم۔

Robots.txt جنریٹر کا استعمال کیسے کریں

  1. ایک preset منتخب کریں، یا سب کچھ اجازت دیں سے شروع کریں اور حسب ضرورت بنائیں۔
  2. کسی مخصوص کرالر (مثلاً GPTBot) کے لیے اس کے اپنے اصولوں کے ساتھ ایک گروپ شامل کریں۔
  3. disallow اور allow راستے درج کریں، ایک فی لائن - راستے / سے شروع ہوتے ہیں۔
  4. اپنا سائٹ میپ URL شامل کریں اور بنائیں پر کلک کریں۔
  5. معقولیت-جانچ نوٹس سے گزریں، پھر فائل yourdomain.com/robots.txt پر رکھیں۔

یہ کیسے کام کرتا ہے

ایک robots.txt فائل گروپس کا مجموعہ ہے: ہر گروپ ایک یا زیادہ user-agents (کرالر) کا نام دیتا ہے جس کے بعد Disallow اور Allow راستہ اصول آتے ہیں جو ان پر لاگو ہوتے ہیں۔ ایک خالی Disallow کا مطلب ہے سب کچھ جائز ہے؛ Disallow: / اس ایجنٹ کے لیے پوری سائٹ روکتا ہے۔ قواعد سابقے سے ملائے جاتے ہیں، اور Google وسیع تر Disallow سے استثنیٰ تراشنے کے لیے Allow کی بھی حمایت کرتا ہے۔ یہ جنریٹر گروپس معیاری فارمیٹ میں خارج کرتا ہے، Sitemap لائن شامل کرتا ہے، اور پھر اپنی آؤٹ پٹ کی معقولیت-جانچ کرتا ہے: نامعلوم فیلڈز، / سے شروع نہ ہونے والے راستے، اور مکمل URLs نہ ہونے والی سائٹ میپ لائنیں سب نشان زد۔ یاد رکھیں robots.txt ایک درخواست ہے، تالا نہیں - اچھے برتاؤ والے crawlers اس کی پابندی کرتے ہیں، بدنیتی والے نہیں کر سکتے، لہٰذا رازوں کی حفاظت کے لیے اس پر کبھی بھروسہ نہ کریں۔

اکثر پوچھے گئے سوالات

کیا یہ جنریٹر مفت ہے؟

ہاں - مکمل مفت، کوئی سائن اپ نہیں۔

robots.txt کہاں جاتا ہے؟

آپ کے ڈومین کی جڑ پر: https://yourdomain.com/robots.txt - اور کہیں نہیں پڑھا جاتا۔

کیا robots.txt صفحات کو تلاش نتائج سے مکمل روکتا ہے؟

یہ crawling روکتا ہے، indexing نہیں: ایک روکا گیا URL اب بھی نتائج میں ظاہر ہو سکتا ہے (بغیر تفصیل کے) اگر دیگر سائٹس اس سے لنک کریں۔ صفحے کو مکمل باہر رکھنے کے لیے noindex ٹیگ استعمال کریں۔

کیا میں AI کرالر روک سکتا ہوں؟

AI preset ایسے گروپس شامل کرتا ہے جو GPTBot, CCBot اور Google-Extended کو روکتے ہیں۔ مطابق crawlers اس کا احترام کرتے ہیں؛ یہ robots.txt نظر انداز کرنے والے scrapers کو نہیں روک سکتا۔

کیا کچھ اپ لوڈ ہوتا ہے؟

نہیں۔ بنانا اور جانچیں آپ کے براؤزر میں چلتی ہیں۔

متعلقہ ڈویلپر ٹولز

اس ٹول کو اپنی ویب سائٹ پر سرایت کریں — مفت

اس ٹول کو اپنی ویب سائٹ یا بلاگ میں شامل کریں — یہ بالکل مفت ہے، کسی سائن اپ کی ضرورت نہیں، اور ہمیشہ تازہ ترین ورژن دکھاتا ہے۔ نیچے دیا گیا کوڈ کاپی کریں اور اپنے صفحے میں وہاں پیسٹ کریں جہاں آپ ٹول دکھانا چاہتے ہیں۔ ایمبیڈ کے نیچے چھوٹی “Powered by Loona Automation” کریڈٹ لائن برقرار رکھنا اس ٹول کو مفت رکھنے میں مدد دیتا ہے — لیکن آپ اسے اسٹائل کرنے یا ہٹانے کے لیے آزاد ہیں؛ ٹول دونوں صورتوں میں کام کرتا ہے۔