Loona Automation-logoLoona Utviklerverktøy
Hjem › Utviklerverktøy › Robots.txt-tester

Robots.txt-tester - Tillatt eller blokkert, og nøyaktig hvorfor

Kort sagt: Robots.txt-testeren bruker de virkelige matching-reglene - den mest spesifikke brukeragentgruppen, deretter den lengste matchende baneregelen, med Allow som vinner uavgjort - og viser dommen pluss den nøyaktige regelen som avgjorde den.

En robots.txt-fil er lett å skrive og vanskelig å resonnere om. Denne testeren svarer på det eneste spørsmålet som betyr noe for en gitt crawler og URL.

Privat etter design: alt i dette verktøyet skjer 100 % i nettleseren din med JavaScript. Inndataen din lastes aldri opp til en server, lagres aldri og ses aldri av oss - lukk fanen og alt er borte.

Slik bruker du Robots.txt-testeren

  1. Lim inn robots.txt-innholdet ditt.
  2. Skriv inn den fulle URL-en som skal testes og user-agent-navnet (Googlebot, GPTBot, *).
  3. Klikk Test denne URL-en.
  4. Les dommen og den matchende regelen som produserte den.

Slik fungerer det

Matching følger standarden (RFC 9309, slik Google implementerer den): først velges crawlerens gruppe - gruppen som navngir den mest spesifikke matchende brukeragent-tokenen vinner over *-gruppen - deretter, innenfor den gruppen, vinner regelen hvis banemønster matcher URL-ens bane og er lengst; ved uavgjort slår Allow Disallow. Mønstre støtter * som jokertegn og en avsluttende $ som sluttanker. En tom Disallow matcher ingenting, og derfor tillater 'Disallow:' alene alt.

Ofte stilte spørsmål

Er denne testeren gratis?

Ja - helt gratis, ingen registrering.

Hvilke matching-regler følger den?

RFC 9309 / Googles implementasjon: mest spesifikke agentgruppe, lengste matchende regel, Allow vinner uavgjort, * og $-mønsterstøtte.

URL-en min er blokkert her, men indeksert i Google - hvorfor?

Robots blokkerer crawling, ikke indeksering. En blokkert side kan fortsatt indekseres fra lenker, vist uten beskrivelse.

Henter den min levende robots.txt?

Nei - lim inn innholdet. Nettlesere kan ikke hente vilkårlige nettsteders filer (CORS), og innliming lar deg også teste et utkast før du publiserer det.

Lastes noe opp?

Nei. Testing kjører i nettleseren din.

Relaterte utviklerverktøy

Bygg inn dette verktøyet på nettstedet ditt — gratis

Legg dette verktøyet til på ditt eget nettsted eller blogg — det er helt gratis, trenger ingen registrering, og viser alltid den nyeste versjonen. Kopier koden nedenfor og lim den inn på siden din der du vil at verktøyet skal vises. Å beholde den lille kredittlinjen “Powered by Loona Automation” under innebyggingen hjelper til med å holde dette verktøyet gratis — men du kan gjerne style eller fjerne den; verktøyet fungerer uansett.