Robots.txt জেনারেটর - সিনট্যাক্স ফাঁদ ছাড়া ক্রলার নিয়ম
robots.txt-এ একটি ভুল লাইন একটি পুরো সাইট Google থেকে লুকাতে পারে - বা কিছুই লুকাতে ব্যর্থ হতে পারে। এখানে এটি তৈরি করুন, সাধারণ ক্ষেত্রের জন্য প্রিসেট ও আউটপুটে পরীক্ষা সহ।
Robots.txt জেনারেটর কীভাবে ব্যবহার করবেন
- একটি প্রিসেট বেছে নিন, বা সব অনুমতি দিন থেকে শুরু করুন ও কাস্টমাইজ করুন।
- নিজস্ব নিয়মসহ যেকোনো নির্দিষ্ট ক্রলারের জন্য একটি গ্রুপ যোগ করুন (যেমন GPTBot)।
- অননুমতি ও অনুমতি পথ তালিকাভুক্ত করুন, প্রতি লাইনে একটি - পথ / দিয়ে শুরু হয়।
- আপনার সাইটম্যাপ URL যোগ করুন এবং Generate ক্লিক করুন।
- স্যানিটি-চেক নোটগুলো পড়ুন, তারপর ফাইল yourdomain.com/robots.txt-এ রাখুন।
এটি কীভাবে কাজ করে
একটি robots.txt ফাইল হলো গ্রুপের একটি সেট: প্রতিটি গ্রুপ এক বা একাধিক user-agent (ক্রলার) নাম দেয় যার পরে তাদের জন্য প্রযোজ্য Disallow এবং Allow পথের নিয়ম থাকে। একটি খালি Disallow মানে সবকিছু অনুমোদিত; Disallow: / সেই এজেন্টের জন্য পুরো সাইট ব্লক করে। নিয়মগুলো উপসর্গ দিয়ে মেলানো হয়, এবং Google একটি বিস্তৃত Disallow থেকে ব্যতিক্রম তৈরি করতে Allow সমর্থন করে। এই জেনারেটর মানক ফরম্যাটে গ্রুপ নির্গত করে, Sitemap লাইন সংযুক্ত করে, এবং তারপর তার নিজের আউটপুট যুক্তি-পরীক্ষা করে: অজানা ক্ষেত্র, / দিয়ে শুরু হয় না এমন পাথ, এবং সম্পূর্ণ URL নয় এমন সাইটম্যাপ লাইন সবই চিহ্নিত হয়। মনে রাখবেন robots.txt একটি অনুরোধ, তালা নয় - ভালো আচরণের ক্রলার এটি মানে, দূষিতগুলো নাও মানতে পারে, তাই গোপনীয়তা রক্ষার জন্য কখনও এর উপর নির্ভর করবেন না।
প্রায়শই জিজ্ঞাসিত প্রশ্ন
এই জেনারেটর কি বিনামূল্যে?
হ্যাঁ - সম্পূর্ণ বিনামূল্যে, কোনো সাইন-আপ নয়।
robots.txt কোথায় যায়?
আপনার ডোমেইনের মূলে: https://yourdomain.com/robots.txt - অন্য কোথাও পড়া হয় না।
robots.txt কি পেজগুলোকে অনুসন্ধান ফলাফল থেকে সম্পূর্ণ ব্লক করে?
এটি ক্রলিং ব্লক করে, সূচক নয়: একটি ব্লক করা URL এখনও ফলাফলে আসতে পারে (বর্ণনা ছাড়া) যদি অন্য সাইট এতে লিংক করে। একটি পেজ সম্পূর্ণ বাইরে রাখতে একটি noindex ট্যাগ ব্যবহার করুন।
আমি কি AI ক্রলার ব্লক করতে পারি?
AI প্রিসেট GPTBot, CCBot ও Google-Extended নিষেধ করে এমন গ্রুপ যোগ করে। অনুগত ক্রলার এটি সম্মান করে; robots.txt উপেক্ষা করে এমন স্ক্র্যাপার এটি থামাতে পারে না।
কিছু কি আপলোড হয়?
না। তৈরি ও পরীক্ষা আপনার ব্রাউজারে চলে।
সম্পর্কিত ডেভেলপার টুল
মেটা ট্যাগ জেনারেটর
একটি SERP-ধরনের প্রিভিউসহ একটি প্রস্তুত-পেস্ট HTML মেটা ব্লক তৈরি করুন - শিরোনাম, বর্ণনা, robots, canonical।
Open Graph ও Twitter Card জেনারেটর
একটি কার্ড প্রিভিউসহ Open Graph ও Twitter Card ট্যাগ তৈরি করুন, যাতে শেয়ার করা লিংক সর্বত্র সঠিক দেখায়।
Robots.txt জেনারেটর
প্রতি-এজেন্ট অনুমতি ও অননুমতি নিয়ম এবং একটি সাইটম্যাপ লাইনসহ একটি বৈধ robots.txt তৈরি করুন।