Robots.txt-testare - Tillåten eller Blockerad, och Exakt Varför
En robots.txt-fil är lätt att skriva och svår att resonera om. Den här testaren svarar på den enda fråga som spelar roll för en given crawler och URL.
Så använder du Robots.txt-testaren
- Klistra in ditt robots.txt-innehåll.
- Ange den fullständiga URL:en att testa och user-agent-namnet (Googlebot, GPTBot, *).
- Klicka på Testa denna URL.
- Läs utslaget och den matchande regeln som producerade det.
Så fungerar det
Matchning följer standarden (RFC 9309, som Google implementerar den): först väljs crawlerns grupp - gruppen som namnger den mest specifika matchande user-agent-tokenen vinner över *-gruppen - sedan, inom den gruppen, vinner regeln vars sökvägsmönster matchar URL:ens sökväg och är längsta; vid lika vinner Allow över Disallow. Mönster stöder * som jokertecken och ett avslutande $ som slutankare. En tom Disallow matchar ingenting, vilket är varför 'Disallow:' ensam tillåter allt.
Vanliga frågor
Är den här testaren gratis?
Ja - helt gratis, ingen registrering.
Vilka matchningsregler följer den?
RFC 9309 / Googles implementation: mest specifika agentgrupp, längsta matchande regel, Allow vinner vid lika, stöd för * och $-mönster.
Min URL blockeras här men indexeras i Google - varför?
Robots blockerar genomsökning, inte indexering. En blockerad sida kan fortfarande indexeras från länkar, visas utan beskrivning.
Hämtar den min live robots.txt?
Nej - klistra in innehållet. Webbläsare kan inte hämta godtyckliga webbplatsers filer (CORS), och inklistring låter dig också testa ett utkast innan du publicerar det.
Laddas något upp?
Nej. Testning körs i din webbläsare.