Robots.txt-tester - Tillatt eller blokkert, og nøyaktig hvorfor
En robots.txt-fil er lett å skrive og vanskelig å resonnere om. Denne testeren svarer på det eneste spørsmålet som betyr noe for en gitt crawler og URL.
Slik bruker du Robots.txt-testeren
- Lim inn robots.txt-innholdet ditt.
- Skriv inn den fulle URL-en som skal testes og user-agent-navnet (Googlebot, GPTBot, *).
- Klikk Test denne URL-en.
- Les dommen og den matchende regelen som produserte den.
Slik fungerer det
Matching følger standarden (RFC 9309, slik Google implementerer den): først velges crawlerens gruppe - gruppen som navngir den mest spesifikke matchende brukeragent-tokenen vinner over *-gruppen - deretter, innenfor den gruppen, vinner regelen hvis banemønster matcher URL-ens bane og er lengst; ved uavgjort slår Allow Disallow. Mønstre støtter * som jokertegn og en avsluttende $ som sluttanker. En tom Disallow matcher ingenting, og derfor tillater 'Disallow:' alene alt.
Ofte stilte spørsmål
Er denne testeren gratis?
Ja - helt gratis, ingen registrering.
Hvilke matching-regler følger den?
RFC 9309 / Googles implementasjon: mest spesifikke agentgruppe, lengste matchende regel, Allow vinner uavgjort, * og $-mønsterstøtte.
URL-en min er blokkert her, men indeksert i Google - hvorfor?
Robots blokkerer crawling, ikke indeksering. En blokkert side kan fortsatt indekseres fra lenker, vist uten beskrivelse.
Henter den min levende robots.txt?
Nei - lim inn innholdet. Nettlesere kan ikke hente vilkårlige nettsteders filer (CORS), og innliming lar deg også teste et utkast før du publiserer det.
Lastes noe opp?
Nei. Testing kjører i nettleseren din.