Robots.txt टेस्टर — Allowed या Blocked, और ठीक क्यों
robots.txt फ़ाइल लिखना आसान है, समझना मुश्किल। यह tester उस इकलौते सवाल का जवाब देता है जो किसी दिए गए crawler और URL के लिए मायने रखता है।
Robots.txt टेस्टर का उपयोग कैसे करें
- अपनी robots.txt content paste करें।
- Test करने के लिए full URL और user-agent नाम दर्ज करें (Googlebot, GPTBot, *)।
- Test this URL पर click करें।
- Verdict और वह matching rule पढ़ें जिसने इसे बनाया।
यह कैसे काम करता है
Matching standard का पालन करती है (RFC 9309, जैसे Google इसे implement करता है): पहले crawler का group चुना जाता है — सबसे specific matching user-agent token नाम वाला group * group पर जीतता है — फिर, उस group के अंदर, वह rule जिसका path pattern URL के path से match करता है और सबसे लंबा है, जीतता है; tie पर, Allow, Disallow को हराता है। Patterns * को wildcard और trailing $ को end anchor के रूप में support करते हैं। खाली Disallow किसी से match नहीं करता, इसीलिए अकेला 'Disallow:' सब कुछ allow करता है।
अक्सर पूछे जाने वाले सवाल
क्या यह tester मुफ़्त है?
हाँ — पूरी तरह मुफ़्त, कोई साइन-अप नहीं।
यह कौन से matching rules का पालन करता है?
RFC 9309 / Google's implementation: सबसे specific agent group, सबसे लंबा matching rule, Allow ties जीतता है, * और $ pattern support।
मेरा URL यहाँ blocked है लेकिन Google में indexed है — क्यों?
Robots crawling को block करता है, indexing को नहीं। एक blocked page अब भी links से indexed हो सकता है, बिना description दिखाए।
क्या यह मेरा live robots.txt fetch करता है?
नहीं — content paste करें। Browsers arbitrary sites की फ़ाइलें fetch नहीं कर सकते (CORS), और paste करना आपको publish करने से पहले draft test करने भी देता है।
क्या कुछ अपलोड होता है?
नहीं। Testing आपके ब्राउज़र में चलती है।