Robots.txt-generator - Crawlerregler uten syntaksfellene
Én feil linje i robots.txt kan skjule et helt nettsted fra Google - eller ikke skjule noe i det hele tatt. Bygg den her, med forhåndsvalg for de vanlige tilfellene og sjekker på resultatet.
Slik bruker du Robots.txt-generatoren
- Velg et forhåndsvalg, eller start fra Tillat alt og tilpass.
- Legg til en gruppe for en bestemt crawler (for eksempel GPTBot) med sine egne regler.
- List disallow- og allow-baner, én per linje - baner starter med /.
- Legg til sitemap-URL-en din og klikk Generer.
- Gå gjennom fornuftssjekk-notatene, og plasser deretter filen på yourdomain.com/robots.txt.
Slik fungerer det
En robots.txt-fil er et sett med grupper: hver gruppe navngir én eller flere user-agents (crawlere) fulgt av Disallow- og Allow-baneregler som gjelder for dem. En tom Disallow betyr at alt er tillatt; Disallow: / blokkerer hele nettstedet for den agenten. Regler matches etter prefiks, og Google støtter også Allow for å skjære ut unntak fra en bredere Disallow. Denne generatoren sender ut grupper i standardformatet, legger til Sitemap-linjen, og fornuftssjekker deretter sitt eget resultat: ukjente felt, baner som ikke starter med /, og nettstedskartlinjer som ikke er fulle URL-er flagges alle. Husk at robots.txt er en forespørsel, ikke en lås - veloppdragne crawlere adlyder den, ondsinnede gjør kanskje ikke, så stol aldri på den til å beskytte hemmeligheter.
Ofte stilte spørsmål
Er denne generatoren gratis?
Ja - helt gratis, ingen registrering.
Hvor går robots.txt?
Ved roten av domenet ditt: https://yourdomain.com/robots.txt - ingen andre steder leses.
Blokkerer robots.txt sider fra søkeresultater fullstendig?
Den blokkerer crawling, ikke indeksering: en blokkert URL kan fortsatt vises i resultater (uten beskrivelse) hvis andre nettsteder lenker til den. Bruk en noindex-tagg for å holde en side helt ute.
Kan jeg blokkere AI-crawlere?
AI-forhåndsvalget legger til grupper som disallow-er GPTBot, CCBot og Google-Extended. Etterlevende crawlere respekterer det; det kan ikke stoppe skrapere som ignorerer robots.txt.
Lastes noe opp?
Nei. Generering og sjekker kjører i nettleseren din.
Relaterte utviklerverktøy
Metataggenerator
Generer en lim-inn-klar HTML-metablokk - tittel, beskrivelse, robots, canonical - med forhåndsvisning i SERP-stil.
Open Graph- og Twitter Card-generator
Bygg Open Graph- og Twitter Card-tagger med forhåndsvisning av kort, slik at delte lenker ser riktige ut overalt.
Robots.txt-generator
Bygg en gyldig robots.txt med allow- og disallow-regler per agent og en sitemap-linje.