Loona Automation-logoLoona Udviklerværktøjer
Forside › Udviklerværktøjer › Robots.txt-tester

Robots.txt-tester - Tilladt eller blokeret, og præcis hvorfor

Kort sagt: Robots.txt-testeren anvender de ægte matchregler - den mest specifikke user-agent-gruppe, derefter den længste matchende stiregel, med Allow, der vinder uafgjort - og viser dommen plus den eksakte regel, der afgjorde den.

En robots.txt-fil er nem at skrive og svær at ræsonnere om. Denne tester besvarer det eneste spørgsmål, der betyder noget for en given crawler og URL.

Privat efter design: alt i dette værktøj sker 100 % i din browser med JavaScript. Dit input uploades aldrig til en server, gemmes aldrig og ses aldrig af os - luk fanen, og alt er væk.

Sådan bruger du Robots.txt-testeren

  1. Indsæt dit robots.txt-indhold.
  2. Indtast den fulde URL, der skal testes, og user-agent-navnet (Googlebot, GPTBot, *).
  3. Klik på Test denne URL.
  4. Læs dommen og den matchende regel, der producerede den.

Sådan virker det

Matching følger standarden (RFC 9309, som Google implementerer den): først vælges crawlerens gruppe - gruppen, der navngiver det mest specifikke matchende user-agent-token, vinder over *-gruppen - derefter vinder den regel i gruppen, hvis stimønster matcher URL'ens sti og er længst; ved ligestilling slår Allow Disallow. Mønstre understøtter * som jokertegn og et afsluttende $ som slutanker. Et tomt Disallow matcher intet, og derfor tillader 'Disallow:' alene alt.

Ofte stillede spørgsmål

Er denne tester gratis?

Ja - helt gratis, ingen tilmelding.

Hvilke matchregler følger den?

RFC 9309 / Googles implementering: mest specifikke agentgruppe, længste matchende regel, Allow vinder ved ligestilling, * og $-mønsterunderstøttelse.

Min URL er blokeret her, men indekseret i Google - hvorfor?

Robots blokerer crawling, ikke indeksering. En blokeret side kan stadig indekseres fra links, vist uden en beskrivelse.

Henter den min live robots.txt?

Nej - indsæt indholdet. Browsere kan ikke hente vilkårlige websteders filer (CORS), og indsættelse lader dig også teste et udkast, før du udgiver det.

Uploades noget?

Nej. Test kører i din browser.

Relaterede udviklerværktøjer

Indlejr dette værktøj på dit websted — gratis

Tilføj dette værktøj til dit eget websted eller din blog — det er helt gratis, kræver ingen tilmelding og viser altid den nyeste version. Kopiér koden nedenfor, og indsæt den på din side, hvor værktøjet skal vises. At beholde den lille kreditlinje “Powered by Loona Automation” under indlejringen hjælper med at holde dette værktøj gratis — men du kan frit style eller fjerne den; værktøjet virker enten vej.