Robots.txt-tester - Tilladt eller blokeret, og præcis hvorfor
En robots.txt-fil er nem at skrive og svær at ræsonnere om. Denne tester besvarer det eneste spørgsmål, der betyder noget for en given crawler og URL.
Sådan bruger du Robots.txt-testeren
- Indsæt dit robots.txt-indhold.
- Indtast den fulde URL, der skal testes, og user-agent-navnet (Googlebot, GPTBot, *).
- Klik på Test denne URL.
- Læs dommen og den matchende regel, der producerede den.
Sådan virker det
Matching følger standarden (RFC 9309, som Google implementerer den): først vælges crawlerens gruppe - gruppen, der navngiver det mest specifikke matchende user-agent-token, vinder over *-gruppen - derefter vinder den regel i gruppen, hvis stimønster matcher URL'ens sti og er længst; ved ligestilling slår Allow Disallow. Mønstre understøtter * som jokertegn og et afsluttende $ som slutanker. Et tomt Disallow matcher intet, og derfor tillader 'Disallow:' alene alt.
Ofte stillede spørgsmål
Er denne tester gratis?
Ja - helt gratis, ingen tilmelding.
Hvilke matchregler følger den?
RFC 9309 / Googles implementering: mest specifikke agentgruppe, længste matchende regel, Allow vinder ved ligestilling, * og $-mønsterunderstøttelse.
Min URL er blokeret her, men indekseret i Google - hvorfor?
Robots blokerer crawling, ikke indeksering. En blokeret side kan stadig indekseres fra links, vist uden en beskrivelse.
Henter den min live robots.txt?
Nej - indsæt indholdet. Browsere kan ikke hente vilkårlige websteders filer (CORS), og indsættelse lader dig også teste et udkast, før du udgiver det.
Uploades noget?
Nej. Test kører i din browser.