Robots.txt-generator - Crawlerregler uden syntaksfælderne
Én forkert linje i robots.txt kan skjule et helt websted for Google - eller slet ikke skjule noget som helst. Byg den her, med forudindstillinger til de almindelige tilfælde og tjek af outputtet.
Sådan bruger du Robots.txt-generatoren
- Vælg en forudindstilling, eller start fra Tillad alt og tilpas.
- Tilføj en gruppe til en bestemt crawler (for eksempel GPTBot) med dens egne regler.
- Angiv disallow- og allow-stier, én pr. linje - stier starter med /.
- Tilføj din sitemap-URL, og klik på Generér.
- Gennemgå fornuftstjeknoterne, og placér derefter filen på ditdomæne.com/robots.txt.
Sådan virker det
En robots.txt-fil er et sæt grupper: hver gruppe navngiver en eller flere user-agents (crawlere) efterfulgt af Disallow- og Allow-stiregler, der gælder for dem. En tom Disallow betyder, at alt er tilladt; Disallow: / blokerer hele webstedet for den agent. Regler matches efter præfiks, og Google understøtter også Allow til at udskære undtagelser fra en bredere Disallow. Denne generator udsender grupper i standardformatet, tilføjer Sitemap-linjen og fornuftstjekker derefter sit eget output: ukendte felter, stier, der ikke starter med /, og sitemaplinjer, der ikke er fulde URL'er, markeres alle. Husk, at robots.txt er en anmodning, ikke en lås - velopdragne crawlere adlyder den, ondsindede gør måske ikke, så stol aldrig på den til at beskytte hemmeligheder.
Ofte stillede spørgsmål
Er denne generator gratis?
Ja - helt gratis, ingen tilmelding.
Hvor skal robots.txt hen?
I roden af dit domæne: https://yourdomain.com/robots.txt – intet andet sted læses.
Blokerer robots.txt sider fuldstændigt fra søgeresultater?
Den blokerer crawling, ikke indeksering: en blokeret URL kan stadig optræde i resultater (uden beskrivelse), hvis andre websteder linker til den. Brug et noindex-tag for at holde en side helt ude.
Kan jeg blokere AI-crawlere?
AI-forudindstillingen tilføjer grupper, der forbyder GPTBot, CCBot og Google-Extended. Efterlevende crawlere respekterer den; den kan ikke stoppe scrapere, der ignorerer robots.txt.
Uploades noget?
Nej. Generering og tjek kører i din browser.
Relaterede udviklerværktøjer
Meta Tag-generator
Generér en klar-til-at-indsætte HTML-metablok – titel, beskrivelse, robots, canonical – med en forhåndsvisning i SERP-stil.
Open Graph- og Twitter Card-generator
Byg Open Graph- og Twitter Card-tags med en kortforhåndsvisning, så delte links ser rigtige ud overalt.
Robots.txt-generator
Byg en gyldig robots.txt med allow- og disallow-regler pr. agent og en sitemap-linje.