Loona Automation-logoLoona Udviklerværktøjer
Forside › Udviklerværktøjer › Robots.txt-generator

Robots.txt-generator - Crawlerregler uden syntaksfælderne

Kort sagt: Robots.txt-generatoren bygger en gyldig robots.txt fra forudindstillinger og per-agent-regler - tillad- og forbyd-stier pr. crawler, plus din sitemap-linje - og kører sundhedstjek på resultatet, før du sender det.

Én forkert linje i robots.txt kan skjule et helt websted for Google - eller slet ikke skjule noget som helst. Byg den her, med forudindstillinger til de almindelige tilfælde og tjek af outputtet.

Privat efter design: alt i dette værktøj sker 100 % i din browser med JavaScript. Dit input uploades aldrig til en server, gemmes aldrig og ses aldrig af os - luk fanen, og alt er væk.

Sådan bruger du Robots.txt-generatoren

  1. Vælg en forudindstilling, eller start fra Tillad alt og tilpas.
  2. Tilføj en gruppe til en bestemt crawler (for eksempel GPTBot) med dens egne regler.
  3. Angiv disallow- og allow-stier, én pr. linje - stier starter med /.
  4. Tilføj din sitemap-URL, og klik på Generér.
  5. Gennemgå fornuftstjeknoterne, og placér derefter filen på ditdomæne.com/robots.txt.

Sådan virker det

En robots.txt-fil er et sæt grupper: hver gruppe navngiver en eller flere user-agents (crawlere) efterfulgt af Disallow- og Allow-stiregler, der gælder for dem. En tom Disallow betyder, at alt er tilladt; Disallow: / blokerer hele webstedet for den agent. Regler matches efter præfiks, og Google understøtter også Allow til at udskære undtagelser fra en bredere Disallow. Denne generator udsender grupper i standardformatet, tilføjer Sitemap-linjen og fornuftstjekker derefter sit eget output: ukendte felter, stier, der ikke starter med /, og sitemaplinjer, der ikke er fulde URL'er, markeres alle. Husk, at robots.txt er en anmodning, ikke en lås - velopdragne crawlere adlyder den, ondsindede gør måske ikke, så stol aldrig på den til at beskytte hemmeligheder.

Ofte stillede spørgsmål

Er denne generator gratis?

Ja - helt gratis, ingen tilmelding.

Hvor skal robots.txt hen?

I roden af dit domæne: https://yourdomain.com/robots.txt – intet andet sted læses.

Blokerer robots.txt sider fuldstændigt fra søgeresultater?

Den blokerer crawling, ikke indeksering: en blokeret URL kan stadig optræde i resultater (uden beskrivelse), hvis andre websteder linker til den. Brug et noindex-tag for at holde en side helt ude.

Kan jeg blokere AI-crawlere?

AI-forudindstillingen tilføjer grupper, der forbyder GPTBot, CCBot og Google-Extended. Efterlevende crawlere respekterer den; den kan ikke stoppe scrapere, der ignorerer robots.txt.

Uploades noget?

Nej. Generering og tjek kører i din browser.

Relaterede udviklerværktøjer

Indlejr dette værktøj på dit websted — gratis

Tilføj dette værktøj til dit eget websted eller din blog — det er helt gratis, kræver ingen tilmelding og viser altid den nyeste version. Kopiér koden nedenfor, og indsæt den på din side, hvor værktøjet skal vises. At beholde den lille kreditlinje “Powered by Loona Automation” under indlejringen hjælper med at holde dette værktøj gratis — men du kan frit style eller fjerne den; værktøjet virker enten vej.