Loona Automation logoLoona Developer Tools
Home › Developer Tools › Robots.txt जनरेटर

Robots.txt जनरेटर — Syntax Traps के बिना Crawler Rules

संक्षेप में: Robots.txt जनरेटर presets और per-agent rules से valid robots.txt बनाता है — प्रति crawler allow और disallow paths, साथ में आपकी sitemap line — और ship करने से पहले परिणाम पर sanity checks चलाता है।

Robots.txt में एक ग़लत line पूरी site को Google से छिपा सकती है — या कुछ भी छिपाने में fail हो सकती है। इसे यहाँ बनाएँ, आम cases के presets और output पर checks के साथ।

Design से निजी: इस tool में सब कुछ JavaScript के साथ 100% आपके browser में होता है। आपका input कभी server पर upload नहीं होता, कभी stored नहीं होता और कभी हमारे द्वारा नहीं देखा जाता — tab बंद करें और सब चला गया।

Robots.txt जनरेटर का उपयोग कैसे करें

  1. एक preset चुनें, या Allow everything से शुरू करके customise करें।
  2. किसी विशिष्ट crawler (उदाहरण के लिए GPTBot) के लिए उसके अपने rules के साथ एक group जोड़ें।
  3. Disallow और allow paths सूचीबद्ध करें, एक प्रति line — paths / से शुरू होते हैं।
  4. अपना sitemap URL जोड़ें और Generate पर click करें।
  5. Sanity-check notes पर नज़र डालें, फिर फ़ाइल को yourdomain.com/robots.txt पर रखें।

यह कैसे काम करता है

robots.txt फ़ाइल groups का एक set है: हर group एक या अधिक user-agents (crawlers) का नाम देता है, उसके बाद Disallow और Allow path rules जो उन पर लागू होते हैं। खाली Disallow का मतलब है सब कुछ allowed है; Disallow: / उस agent के लिए पूरी site block करता है। Rules prefix से matched होती हैं, और Google Allow को भी broader Disallow से exceptions निकालने के लिए support करता है। यह generator groups को standard format में emit करता है, Sitemap line append करता है, और फिर अपने output को sanity-check करता है: unknown fields, / से शुरू न होने वाले paths, और full URLs न होने वाली sitemap lines सभी flagged होते हैं। याद रखें robots.txt एक request है, lock नहीं — well-behaved crawlers इसका पालन करते हैं, malicious वाले शायद न करें, इसलिए secrets की रक्षा के लिए कभी इस पर निर्भर न हों।

अक्सर पूछे जाने वाले सवाल

क्या यह generator मुफ़्त है?

हाँ — पूरी तरह मुफ़्त, कोई साइन-अप नहीं।

robots.txt कहाँ जाता है?

आपके domain के root पर: https://yourdomain.com/robots.txt — और कहीं पढ़ा नहीं जाता।

क्या robots.txt pages को search results से पूरी तरह block करता है?

यह crawling को block करता है, indexing को नहीं: एक blocked URL अब भी results में दिख सकता है (बिना description के) अगर अन्य sites उससे link करें। किसी पेज को पूरी तरह बाहर रखने के लिए noindex tag उपयोग करें।

क्या मैं AI crawlers को block कर सकता हूँ?

AI preset GPTBot, CCBot और Google-Extended को disallow करने वाले groups जोड़ता है। Compliant crawlers इसका सम्मान करते हैं; यह उन scrapers को नहीं रोक सकता जो robots.txt ignore करते हैं।

क्या कुछ अपलोड होता है?

नहीं। Generation और checks आपके ब्राउज़र में चलते हैं।

संबंधित Developer Tools

इस tool को अपनी website पर embed करें — मुफ़्त

इस tool को अपनी website या blog पर जोड़ें — यह पूरी तरह मुफ़्त है, कोई साइन-अप नहीं चाहिए, और हमेशा latest version दिखाता है। नीचे का code copy करें और अपनी page पर वहाँ paste करें जहाँ आप tool को दिखाना चाहते हैं। Embed के नीचे छोटी “Powered by Loona Automation” credit line रखना इस tool को मुफ़्त रखने में मदद करता है — लेकिन आप इसे style या remove करने के लिए स्वतंत्र हैं; tool किसी भी तरह काम करता है।