Robots.txt পরীক্ষক - অনুমোদিত নাকি ব্লক করা, এবং ঠিক কেন
একটি robots.txt ফাইল লেখা সহজ এবং যুক্তি করা কঠিন। এই টেস্টার একটি প্রদত্ত ক্রলার ও URL-এর জন্য একমাত্র গুরুত্বপূর্ণ প্রশ্নের উত্তর দেয়।
Robots.txt টেস্টার কীভাবে ব্যবহার করবেন
- আপনার robots.txt বিষয়বস্তু পেস্ট করুন।
- পরীক্ষা করার জন্য পূর্ণ URL ও user-agent নাম লিখুন (Googlebot, GPTBot, *)।
- এই URL পরীক্ষা করুন-এ ক্লিক করুন।
- রায় ও এটি তৈরি করা মিলের নিয়ম পড়ুন।
এটি কীভাবে কাজ করে
মিল মান অনুসরণ করে (RFC 9309, Google যেভাবে বাস্তবায়ন করে): প্রথমে ক্রলারের গ্রুপ বেছে নেওয়া হয় - সবচেয়ে সুনির্দিষ্ট মিলানো user-agent টোকেন নাম দেওয়া গ্রুপ * গ্রুপের উপর জেতে - তারপর, সেই গ্রুপের ভিতরে, যার পথ প্যাটার্ন URL-এর পথের সঙ্গে মিলে যায় ও সবচেয়ে লম্বা সেই নিয়ম জেতে; টাই হলে, Allow Disallow-কে হারায়। প্যাটার্ন * কে ওয়াইল্ডকার্ড ও একটি শেষ $ কে শেষ নোঙর হিসেবে সমর্থন করে। একটি খালি Disallow কিছুই মিলায় না, যে কারণে 'Disallow:' একা সবকিছু অনুমোদন করে।
প্রায়শই জিজ্ঞাসিত প্রশ্ন
এই টেস্টার কি বিনামূল্যে?
হ্যাঁ - সম্পূর্ণ বিনামূল্যে, কোনো সাইন-আপ নয়।
এটি কোন মিলানোর নিয়ম অনুসরণ করে?
RFC 9309 / Google-এর বাস্তবায়ন: সবচেয়ে নির্দিষ্ট এজেন্ট গ্রুপ, দীর্ঘতম মিলের নিয়ম, টাইতে Allow জেতে, * ও $ প্যাটার্ন সমর্থন।
আমার URL এখানে ব্লক করা কিন্তু Google-এ সূচক করা - কেন?
Robots ক্রল করা ব্লক করে, সূচক করা নয়। একটি ব্লক করা পেজ এখনও লিংক থেকে সূচক করা যায়, বর্ণনা ছাড়া দেখানো।
এটি কি আমার লাইভ robots.txt আনে?
না - বিষয়বস্তু পেস্ট করুন। ব্রাউজার নির্বিচারে সাইটের ফাইল আনতে পারে না (CORS), এবং পেস্ট করা আপনাকে প্রকাশের আগে একটি খসড়া পরীক্ষা করতেও দেয়।
কিছু কি আপলোড হয়?
না। পরীক্ষা আপনার ব্রাউজারে চলে।