Loona Automation logoLoona Developer Tools
Home › Developer Tools › Robots.txt टेस्टर

Robots.txt टेस्टर — Allowed या Blocked, और ठीक क्यों

संक्षेप में: Robots.txt टेस्टर असली matching rules लगाता है — सबसे specific user-agent group, फिर सबसे लंबा matching path rule, Allow ties जीतते हुए — और verdict साथ में exact rule दिखाता है जिसने यह तय किया।

robots.txt फ़ाइल लिखना आसान है, समझना मुश्किल। यह tester उस इकलौते सवाल का जवाब देता है जो किसी दिए गए crawler और URL के लिए मायने रखता है।

Design से निजी: इस tool में सब कुछ JavaScript के साथ 100% आपके browser में होता है। आपका input कभी server पर upload नहीं होता, कभी stored नहीं होता और कभी हमारे द्वारा नहीं देखा जाता — tab बंद करें और सब चला गया।

Robots.txt टेस्टर का उपयोग कैसे करें

  1. अपनी robots.txt content paste करें।
  2. Test करने के लिए full URL और user-agent नाम दर्ज करें (Googlebot, GPTBot, *)।
  3. Test this URL पर click करें।
  4. Verdict और वह matching rule पढ़ें जिसने इसे बनाया।

यह कैसे काम करता है

Matching standard का पालन करती है (RFC 9309, जैसे Google इसे implement करता है): पहले crawler का group चुना जाता है — सबसे specific matching user-agent token नाम वाला group * group पर जीतता है — फिर, उस group के अंदर, वह rule जिसका path pattern URL के path से match करता है और सबसे लंबा है, जीतता है; tie पर, Allow, Disallow को हराता है। Patterns * को wildcard और trailing $ को end anchor के रूप में support करते हैं। खाली Disallow किसी से match नहीं करता, इसीलिए अकेला 'Disallow:' सब कुछ allow करता है।

अक्सर पूछे जाने वाले सवाल

क्या यह tester मुफ़्त है?

हाँ — पूरी तरह मुफ़्त, कोई साइन-अप नहीं।

यह कौन से matching rules का पालन करता है?

RFC 9309 / Google's implementation: सबसे specific agent group, सबसे लंबा matching rule, Allow ties जीतता है, * और $ pattern support।

मेरा URL यहाँ blocked है लेकिन Google में indexed है — क्यों?

Robots crawling को block करता है, indexing को नहीं। एक blocked page अब भी links से indexed हो सकता है, बिना description दिखाए।

क्या यह मेरा live robots.txt fetch करता है?

नहीं — content paste करें। Browsers arbitrary sites की फ़ाइलें fetch नहीं कर सकते (CORS), और paste करना आपको publish करने से पहले draft test करने भी देता है।

क्या कुछ अपलोड होता है?

नहीं। Testing आपके ब्राउज़र में चलती है।

संबंधित Developer Tools

इस tool को अपनी website पर embed करें — मुफ़्त

इस tool को अपनी website या blog पर जोड़ें — यह पूरी तरह मुफ़्त है, कोई साइन-अप नहीं चाहिए, और हमेशा latest version दिखाता है। नीचे का code copy करें और अपनी page पर वहाँ paste करें जहाँ आप tool को दिखाना चाहते हैं। Embed के नीचे छोटी “Powered by Loona Automation” credit line रखना इस tool को मुफ़्त रखने में मदद करता है — लेकिन आप इसे style या remove करने के लिए स्वतंत्र हैं; tool किसी भी तरह काम करता है।