Robots.txt जनरेटर — Syntax Traps के बिना Crawler Rules
Robots.txt में एक ग़लत line पूरी site को Google से छिपा सकती है — या कुछ भी छिपाने में fail हो सकती है। इसे यहाँ बनाएँ, आम cases के presets और output पर checks के साथ।
Robots.txt जनरेटर का उपयोग कैसे करें
- एक preset चुनें, या Allow everything से शुरू करके customise करें।
- किसी विशिष्ट crawler (उदाहरण के लिए GPTBot) के लिए उसके अपने rules के साथ एक group जोड़ें।
- Disallow और allow paths सूचीबद्ध करें, एक प्रति line — paths / से शुरू होते हैं।
- अपना sitemap URL जोड़ें और Generate पर click करें।
- Sanity-check notes पर नज़र डालें, फिर फ़ाइल को yourdomain.com/robots.txt पर रखें।
यह कैसे काम करता है
robots.txt फ़ाइल groups का एक set है: हर group एक या अधिक user-agents (crawlers) का नाम देता है, उसके बाद Disallow और Allow path rules जो उन पर लागू होते हैं। खाली Disallow का मतलब है सब कुछ allowed है; Disallow: / उस agent के लिए पूरी site block करता है। Rules prefix से matched होती हैं, और Google Allow को भी broader Disallow से exceptions निकालने के लिए support करता है। यह generator groups को standard format में emit करता है, Sitemap line append करता है, और फिर अपने output को sanity-check करता है: unknown fields, / से शुरू न होने वाले paths, और full URLs न होने वाली sitemap lines सभी flagged होते हैं। याद रखें robots.txt एक request है, lock नहीं — well-behaved crawlers इसका पालन करते हैं, malicious वाले शायद न करें, इसलिए secrets की रक्षा के लिए कभी इस पर निर्भर न हों।
अक्सर पूछे जाने वाले सवाल
क्या यह generator मुफ़्त है?
हाँ — पूरी तरह मुफ़्त, कोई साइन-अप नहीं।
robots.txt कहाँ जाता है?
आपके domain के root पर: https://yourdomain.com/robots.txt — और कहीं पढ़ा नहीं जाता।
क्या robots.txt pages को search results से पूरी तरह block करता है?
यह crawling को block करता है, indexing को नहीं: एक blocked URL अब भी results में दिख सकता है (बिना description के) अगर अन्य sites उससे link करें। किसी पेज को पूरी तरह बाहर रखने के लिए noindex tag उपयोग करें।
क्या मैं AI crawlers को block कर सकता हूँ?
AI preset GPTBot, CCBot और Google-Extended को disallow करने वाले groups जोड़ता है। Compliant crawlers इसका सम्मान करते हैं; यह उन scrapers को नहीं रोक सकता जो robots.txt ignore करते हैं।
क्या कुछ अपलोड होता है?
नहीं। Generation और checks आपके ब्राउज़र में चलते हैं।
संबंधित Developer Tools
Meta Tag जनरेटर
एक तैयार-to-paste HTML meta block generate करें — title, description, robots, canonical — एक SERP-style preview के साथ।
Open Graph और Twitter Card जनरेटर
Card preview के साथ Open Graph और Twitter Card tags बनाएँ, ताकि shared links हर जगह सही दिखें।
Robots.txt जनरेटर
प्रति-agent allow और disallow rules और एक sitemap line के साथ एक valid robots.txt बनाएँ।