Loona Automation-logoLoona Utviklerverktøy
Hjem › Utviklerverktøy › Robots.txt-generator

Robots.txt-generator - Crawlerregler uten syntaksfellene

Kort sagt: Robots.txt-generatoren bygger en gyldig robots.txt fra forhåndsvalg og per-agent-regler - allow- og disallow-baner per crawler, pluss nettstedskartlinjen din - og kjører fornuftssjekker på resultatet før du sender det.

Én feil linje i robots.txt kan skjule et helt nettsted fra Google - eller ikke skjule noe i det hele tatt. Bygg den her, med forhåndsvalg for de vanlige tilfellene og sjekker på resultatet.

Privat etter design: alt i dette verktøyet skjer 100 % i nettleseren din med JavaScript. Inndataen din lastes aldri opp til en server, lagres aldri og ses aldri av oss - lukk fanen og alt er borte.

Slik bruker du Robots.txt-generatoren

  1. Velg et forhåndsvalg, eller start fra Tillat alt og tilpass.
  2. Legg til en gruppe for en bestemt crawler (for eksempel GPTBot) med sine egne regler.
  3. List disallow- og allow-baner, én per linje - baner starter med /.
  4. Legg til sitemap-URL-en din og klikk Generer.
  5. Gå gjennom fornuftssjekk-notatene, og plasser deretter filen på yourdomain.com/robots.txt.

Slik fungerer det

En robots.txt-fil er et sett med grupper: hver gruppe navngir én eller flere user-agents (crawlere) fulgt av Disallow- og Allow-baneregler som gjelder for dem. En tom Disallow betyr at alt er tillatt; Disallow: / blokkerer hele nettstedet for den agenten. Regler matches etter prefiks, og Google støtter også Allow for å skjære ut unntak fra en bredere Disallow. Denne generatoren sender ut grupper i standardformatet, legger til Sitemap-linjen, og fornuftssjekker deretter sitt eget resultat: ukjente felt, baner som ikke starter med /, og nettstedskartlinjer som ikke er fulle URL-er flagges alle. Husk at robots.txt er en forespørsel, ikke en lås - veloppdragne crawlere adlyder den, ondsinnede gjør kanskje ikke, så stol aldri på den til å beskytte hemmeligheter.

Ofte stilte spørsmål

Er denne generatoren gratis?

Ja - helt gratis, ingen registrering.

Hvor går robots.txt?

Ved roten av domenet ditt: https://yourdomain.com/robots.txt - ingen andre steder leses.

Blokkerer robots.txt sider fra søkeresultater fullstendig?

Den blokkerer crawling, ikke indeksering: en blokkert URL kan fortsatt vises i resultater (uten beskrivelse) hvis andre nettsteder lenker til den. Bruk en noindex-tagg for å holde en side helt ute.

Kan jeg blokkere AI-crawlere?

AI-forhåndsvalget legger til grupper som disallow-er GPTBot, CCBot og Google-Extended. Etterlevende crawlere respekterer det; det kan ikke stoppe skrapere som ignorerer robots.txt.

Lastes noe opp?

Nei. Generering og sjekker kjører i nettleseren din.

Relaterte utviklerverktøy

Bygg inn dette verktøyet på nettstedet ditt — gratis

Legg dette verktøyet til på ditt eget nettsted eller blogg — det er helt gratis, trenger ingen registrering, og viser alltid den nyeste versjonen. Kopier koden nedenfor og lim den inn på siden din der du vil at verktøyet skal vises. Å beholde den lille kredittlinjen “Powered by Loona Automation” under innebyggingen hjelper til med å holde dette verktøyet gratis — men du kan gjerne style eller fjerne den; verktøyet fungerer uansett.