Loona Automation-logotypLoona Utvecklarverktyg
Hem › Utvecklarverktyg › Robots.txt-testare

Robots.txt-testare - Tillåten eller Blockerad, och Exakt Varför

Kort sagt: Robots.txt-testaren tillämpar de verkliga matchningsreglerna - den mest specifika user-agent-gruppen, sedan den längsta matchande sökvägsregeln, med Allow som vinner vid lika - och visar utslaget plus den exakta regeln som avgjorde det.

En robots.txt-fil är lätt att skriva och svår att resonera om. Den här testaren svarar på den enda fråga som spelar roll för en given crawler och URL.

Privat av design: allt i det här verktyget sker 100% i din webbläsare med JavaScript. Din indata laddas aldrig upp till en server, lagras aldrig och ses aldrig av oss - stäng fliken och allt är borta.

Så använder du Robots.txt-testaren

  1. Klistra in ditt robots.txt-innehåll.
  2. Ange den fullständiga URL:en att testa och user-agent-namnet (Googlebot, GPTBot, *).
  3. Klicka på Testa denna URL.
  4. Läs utslaget och den matchande regeln som producerade det.

Så fungerar det

Matchning följer standarden (RFC 9309, som Google implementerar den): först väljs crawlerns grupp - gruppen som namnger den mest specifika matchande user-agent-tokenen vinner över *-gruppen - sedan, inom den gruppen, vinner regeln vars sökvägsmönster matchar URL:ens sökväg och är längsta; vid lika vinner Allow över Disallow. Mönster stöder * som jokertecken och ett avslutande $ som slutankare. En tom Disallow matchar ingenting, vilket är varför 'Disallow:' ensam tillåter allt.

Vanliga frågor

Är den här testaren gratis?

Ja - helt gratis, ingen registrering.

Vilka matchningsregler följer den?

RFC 9309 / Googles implementation: mest specifika agentgrupp, längsta matchande regel, Allow vinner vid lika, stöd för * och $-mönster.

Min URL blockeras här men indexeras i Google - varför?

Robots blockerar genomsökning, inte indexering. En blockerad sida kan fortfarande indexeras från länkar, visas utan beskrivning.

Hämtar den min live robots.txt?

Nej - klistra in innehållet. Webbläsare kan inte hämta godtyckliga webbplatsers filer (CORS), och inklistring låter dig också testa ett utkast innan du publicerar det.

Laddas något upp?

Nej. Testning körs i din webbläsare.

Relaterade Utvecklarverktyg

Bädda in det här verktyget på din webbplats — gratis

Lägg till det här verktyget på din egen webbplats eller blogg — det är helt gratis, kräver ingen registrering och visar alltid den senaste versionen. Kopiera koden nedan och klistra in den på din sida där du vill att verktyget ska visas. Att behålla den lilla kreditraden “Powered by Loona Automation” under inbäddningen hjälper till att hålla det här verktyget gratis — men du får gärna styla eller ta bort den; verktyget fungerar oavsett.