Robots.txt ٹیسٹر - اجازت یا روکا گیا، اور عین کیوں
ایک robots.txt فائل لکھنا آسان اور سمجھنا مشکل ہے۔ یہ ٹیسٹر اس واحد سوال کا جواب دیتا ہے جو کسی دیے گئے کرالر اور URL کے لیے اہم ہے۔
Robots.txt ٹیسٹر کا استعمال کیسے کریں
- اپنا robots.txt مواد پیسٹ کریں۔
- جانچنے کے لیے مکمل URL اور user-agent نام درج کریں (Googlebot, GPTBot, *)۔
- اس URL کی جانچ کریں پر کلک کریں۔
- فیصلہ اور اسے بنانے والا ملتا قاعدہ پڑھیں۔
یہ کیسے کام کرتا ہے
مطابقت معیار (RFC 9309، جیسا Google نافذ کرتا ہے) کی پیروی کرتی ہے: پہلے crawler کا گروپ منتخب ہوتا ہے - سب سے مخصوص ملتے user-agent ٹوکن کا نام دینے والا گروپ * گروپ پر جیتتا ہے - پھر، اس گروپ کے اندر، وہ قاعدہ جس کا راستہ پیٹرن URL کے راستے سے ملتا ہے اور سب سے لمبا ہے جیتتا ہے؛ برابر پر، Allow، Disallow پر جیتتا ہے۔ پیٹرنز * کو wildcard اور آخری $ کو end anchor حمایت کرتے ہیں۔ ایک خالی Disallow کسی سے نہیں ملتا، اسی لیے صرف 'Disallow:' سب کچھ اجازت دیتا ہے۔
اکثر پوچھے گئے سوالات
کیا یہ ٹیسٹر مفت ہے؟
ہاں - مکمل مفت، کوئی سائن اپ نہیں۔
یہ کون سے مطابقت قواعد کی پیروی کرتا ہے؟
RFC 9309 / Google کا نفاذ: سب سے مخصوص ایجنٹ گروپ، سب سے لمبا ملتا قاعدہ، Allow برابر پر جیتتا ہے، * اور $ پیٹرن حمایت۔
میرا URL یہاں روکا گیا ہے لیکن Google میں indexed ہے - کیوں؟
Robots crawling روکتا ہے، indexing نہیں۔ ایک روکا گیا صفحہ لنکس سے indexed ہو سکتا ہے، بغیر تفصیل دکھایا گیا۔
کیا یہ میرا لائیو robots.txt لاتا ہے؟
نہیں - مواد پیسٹ کریں۔ براؤزرز من مانے سائٹس کی فائلیں حاصل نہیں کر سکتے (CORS)، اور پیسٹ کرنا آپ کو اشاعت سے پہلے draft ٹیسٹ بھی کرنے دیتا ہے۔
کیا کچھ اپ لوڈ ہوتا ہے؟
نہیں۔ ٹیسٹنگ آپ کے براؤزر میں چلتی ہے۔