Loona Automation লোগোLoona ডেভেলপার টুলসমূহ
হোম › ডেভেলপার টুলসমূহ › Robots.txt জেনারেটর

Robots.txt জেনারেটর - সিনট্যাক্স ফাঁদ ছাড়া ক্রলার নিয়ম

সংক্ষেপে: Robots.txt Generator প্রিসেট এবং প্রতি-এজেন্ট নিয়ম থেকে একটি বৈধ robots.txt তৈরি করে - প্রতি ক্রলারে allow এবং disallow পাথ, এবং আপনার সাইটম্যাপ লাইন - এবং আপনি এটি পাঠানোর আগে ফলাফলে যুক্তি পরীক্ষা চালায়।

robots.txt-এ একটি ভুল লাইন একটি পুরো সাইট Google থেকে লুকাতে পারে - বা কিছুই লুকাতে ব্যর্থ হতে পারে। এখানে এটি তৈরি করুন, সাধারণ ক্ষেত্রের জন্য প্রিসেট ও আউটপুটে পরীক্ষা সহ।

নকশায় ব্যক্তিগত: এই টুলে সবকিছু JavaScript দিয়ে আপনার ব্রাউজারে 100% ঘটে। আপনার ইনপুট কখনও একটি সার্ভারে আপলোড হয় না, কখনও সংরক্ষিত হয় না এবং কখনও আমাদের দ্বারা দেখা হয় না - ট্যাব বন্ধ করুন এবং সবকিছু চলে গেছে।

Robots.txt জেনারেটর কীভাবে ব্যবহার করবেন

  1. একটি প্রিসেট বেছে নিন, বা সব অনুমতি দিন থেকে শুরু করুন ও কাস্টমাইজ করুন।
  2. নিজস্ব নিয়মসহ যেকোনো নির্দিষ্ট ক্রলারের জন্য একটি গ্রুপ যোগ করুন (যেমন GPTBot)।
  3. অননুমতি ও অনুমতি পথ তালিকাভুক্ত করুন, প্রতি লাইনে একটি - পথ / দিয়ে শুরু হয়।
  4. আপনার সাইটম্যাপ URL যোগ করুন এবং Generate ক্লিক করুন।
  5. স্যানিটি-চেক নোটগুলো পড়ুন, তারপর ফাইল yourdomain.com/robots.txt-এ রাখুন।

এটি কীভাবে কাজ করে

একটি robots.txt ফাইল হলো গ্রুপের একটি সেট: প্রতিটি গ্রুপ এক বা একাধিক user-agent (ক্রলার) নাম দেয় যার পরে তাদের জন্য প্রযোজ্য Disallow এবং Allow পথের নিয়ম থাকে। একটি খালি Disallow মানে সবকিছু অনুমোদিত; Disallow: / সেই এজেন্টের জন্য পুরো সাইট ব্লক করে। নিয়মগুলো উপসর্গ দিয়ে মেলানো হয়, এবং Google একটি বিস্তৃত Disallow থেকে ব্যতিক্রম তৈরি করতে Allow সমর্থন করে। এই জেনারেটর মানক ফরম্যাটে গ্রুপ নির্গত করে, Sitemap লাইন সংযুক্ত করে, এবং তারপর তার নিজের আউটপুট যুক্তি-পরীক্ষা করে: অজানা ক্ষেত্র, / দিয়ে শুরু হয় না এমন পাথ, এবং সম্পূর্ণ URL নয় এমন সাইটম্যাপ লাইন সবই চিহ্নিত হয়। মনে রাখবেন robots.txt একটি অনুরোধ, তালা নয় - ভালো আচরণের ক্রলার এটি মানে, দূষিতগুলো নাও মানতে পারে, তাই গোপনীয়তা রক্ষার জন্য কখনও এর উপর নির্ভর করবেন না।

প্রায়শই জিজ্ঞাসিত প্রশ্ন

এই জেনারেটর কি বিনামূল্যে?

হ্যাঁ - সম্পূর্ণ বিনামূল্যে, কোনো সাইন-আপ নয়।

robots.txt কোথায় যায়?

আপনার ডোমেইনের মূলে: https://yourdomain.com/robots.txt - অন্য কোথাও পড়া হয় না।

robots.txt কি পেজগুলোকে অনুসন্ধান ফলাফল থেকে সম্পূর্ণ ব্লক করে?

এটি ক্রলিং ব্লক করে, সূচক নয়: একটি ব্লক করা URL এখনও ফলাফলে আসতে পারে (বর্ণনা ছাড়া) যদি অন্য সাইট এতে লিংক করে। একটি পেজ সম্পূর্ণ বাইরে রাখতে একটি noindex ট্যাগ ব্যবহার করুন।

আমি কি AI ক্রলার ব্লক করতে পারি?

AI প্রিসেট GPTBot, CCBot ও Google-Extended নিষেধ করে এমন গ্রুপ যোগ করে। অনুগত ক্রলার এটি সম্মান করে; robots.txt উপেক্ষা করে এমন স্ক্র্যাপার এটি থামাতে পারে না।

কিছু কি আপলোড হয়?

না। তৈরি ও পরীক্ষা আপনার ব্রাউজারে চলে।

সম্পর্কিত ডেভেলপার টুল

এই টুলটি আপনার ওয়েবসাইটে এমবেড করুন — বিনামূল্যে

এই টুলটি আপনার নিজের ওয়েবসাইট বা ব্লগে যোগ করুন — এটি সম্পূর্ণ বিনামূল্যে, কোনো সাইন-আপ লাগে না, এবং সবসময় সর্বশেষ সংস্করণ দেখায়। নিচের কোডটি কপি করুন এবং আপনার পেজে যেখানে টুলটি দেখাতে চান সেখানে পেস্ট করুন। এমবেডের নিচে ছোট “Powered by Loona Automation” কৃতিত্ব লাইনটি রাখা এই টুলটিকে বিনামূল্যে রাখতে সাহায্য করে — কিন্তু আপনি এটি সাজাতে বা সরাতে স্বাধীন; টুলটি যেভাবেই হোক কাজ করে।