Loona Automation লোগোLoona ডেভেলপার টুলসমূহ
হোম › ডেভেলপার টুলসমূহ › Robots.txt টেস্টার

Robots.txt পরীক্ষক - অনুমোদিত নাকি ব্লক করা, এবং ঠিক কেন

সংক্ষেপে: Robots.txt Tester আসল মিলানোর নিয়ম প্রয়োগ করে - সবচেয়ে নির্দিষ্ট user-agent গ্রুপ, তারপর দীর্ঘতম মিলে যাওয়া পাথ নিয়ম, টাইতে Allow জয়ী হয় - এবং রায় এবং এটি সিদ্ধান্ত নেওয়া হুবহু নিয়ম দেখায়।

একটি robots.txt ফাইল লেখা সহজ এবং যুক্তি করা কঠিন। এই টেস্টার একটি প্রদত্ত ক্রলার ও URL-এর জন্য একমাত্র গুরুত্বপূর্ণ প্রশ্নের উত্তর দেয়।

নকশায় ব্যক্তিগত: এই টুলে সবকিছু JavaScript দিয়ে আপনার ব্রাউজারে 100% ঘটে। আপনার ইনপুট কখনও একটি সার্ভারে আপলোড হয় না, কখনও সংরক্ষিত হয় না এবং কখনও আমাদের দ্বারা দেখা হয় না - ট্যাব বন্ধ করুন এবং সবকিছু চলে গেছে।

Robots.txt টেস্টার কীভাবে ব্যবহার করবেন

  1. আপনার robots.txt বিষয়বস্তু পেস্ট করুন।
  2. পরীক্ষা করার জন্য পূর্ণ URL ও user-agent নাম লিখুন (Googlebot, GPTBot, *)।
  3. এই URL পরীক্ষা করুন-এ ক্লিক করুন।
  4. রায় ও এটি তৈরি করা মিলের নিয়ম পড়ুন।

এটি কীভাবে কাজ করে

মিল মান অনুসরণ করে (RFC 9309, Google যেভাবে বাস্তবায়ন করে): প্রথমে ক্রলারের গ্রুপ বেছে নেওয়া হয় - সবচেয়ে সুনির্দিষ্ট মিলানো user-agent টোকেন নাম দেওয়া গ্রুপ * গ্রুপের উপর জেতে - তারপর, সেই গ্রুপের ভিতরে, যার পথ প্যাটার্ন URL-এর পথের সঙ্গে মিলে যায় ও সবচেয়ে লম্বা সেই নিয়ম জেতে; টাই হলে, Allow Disallow-কে হারায়। প্যাটার্ন * কে ওয়াইল্ডকার্ড ও একটি শেষ $ কে শেষ নোঙর হিসেবে সমর্থন করে। একটি খালি Disallow কিছুই মিলায় না, যে কারণে 'Disallow:' একা সবকিছু অনুমোদন করে।

প্রায়শই জিজ্ঞাসিত প্রশ্ন

এই টেস্টার কি বিনামূল্যে?

হ্যাঁ - সম্পূর্ণ বিনামূল্যে, কোনো সাইন-আপ নয়।

এটি কোন মিলানোর নিয়ম অনুসরণ করে?

RFC 9309 / Google-এর বাস্তবায়ন: সবচেয়ে নির্দিষ্ট এজেন্ট গ্রুপ, দীর্ঘতম মিলের নিয়ম, টাইতে Allow জেতে, * ও $ প্যাটার্ন সমর্থন।

আমার URL এখানে ব্লক করা কিন্তু Google-এ সূচক করা - কেন?

Robots ক্রল করা ব্লক করে, সূচক করা নয়। একটি ব্লক করা পেজ এখনও লিংক থেকে সূচক করা যায়, বর্ণনা ছাড়া দেখানো।

এটি কি আমার লাইভ robots.txt আনে?

না - বিষয়বস্তু পেস্ট করুন। ব্রাউজার নির্বিচারে সাইটের ফাইল আনতে পারে না (CORS), এবং পেস্ট করা আপনাকে প্রকাশের আগে একটি খসড়া পরীক্ষা করতেও দেয়।

কিছু কি আপলোড হয়?

না। পরীক্ষা আপনার ব্রাউজারে চলে।

সম্পর্কিত ডেভেলপার টুল

এই টুলটি আপনার ওয়েবসাইটে এমবেড করুন — বিনামূল্যে

এই টুলটি আপনার নিজের ওয়েবসাইট বা ব্লগে যোগ করুন — এটি সম্পূর্ণ বিনামূল্যে, কোনো সাইন-আপ লাগে না, এবং সবসময় সর্বশেষ সংস্করণ দেখায়। নিচের কোডটি কপি করুন এবং আপনার পেজে যেখানে টুলটি দেখাতে চান সেখানে পেস্ট করুন। এমবেডের নিচে ছোট “Powered by Loona Automation” কৃতিত্ব লাইনটি রাখা এই টুলটিকে বিনামূল্যে রাখতে সাহায্য করে — কিন্তু আপনি এটি সাজাতে বা সরাতে স্বাধীন; টুলটি যেভাবেই হোক কাজ করে।