Loona Automation-logotypLoona Utvecklarverktyg
Hem › Utvecklarverktyg › Robots.txt-generator

Robots.txt-generator - Crawlerregler Utan Syntaxfällorna

Kort sagt: Robots.txt-generatorn bygger en giltig robots.txt från förinställningar och regler per agent - tillåt- och förbjudsökvägar per crawler, plus din sitemap-rad - och kör förnuftskontroller på resultatet innan du skickar det.

En fel rad i robots.txt kan gömma en hel webbplats från Google - eller misslyckas med att gömma någonting alls. Bygg den här, med förinställningar för de vanliga fallen och kontroller på utdata.

Privat av design: allt i det här verktyget sker 100% i din webbläsare med JavaScript. Din indata laddas aldrig upp till en server, lagras aldrig och ses aldrig av oss - stäng fliken och allt är borta.

Så använder du Robots.txt-generatorn

  1. Välj en förinställning, eller börja från Tillåt allt och anpassa.
  2. Lägg till en grupp för en specifik crawler (till exempel GPTBot) med egna regler.
  3. Lista disallow- och allow-sökvägar, en per rad - sökvägar börjar med /.
  4. Lägg till din sitemap-URL och klicka på Generera.
  5. Gå igenom förnuftskontrollanteckningarna och placera sedan filen på yourdomain.com/robots.txt.

Så fungerar det

En robots.txt-fil är en uppsättning grupper: varje grupp namnger en eller flera user-agents (crawlers) följda av Disallow- och Allow-sökvägsregler som gäller för dem. En tom Disallow betyder att allt är tillåtet; Disallow: / blockerar hela webbplatsen för den agenten. Regler matchas efter prefix, och Google stöder också Allow för att skära ut undantag ur en bredare Disallow. Den här generatorn avger grupper i standardformatet, lägger till Sitemap-raden, och förnuftskontrollerar sedan sin egen utdata: okända fält, sökvägar som inte börjar med /, och sitemap-rader som inte är fullständiga URL:er flaggas alla. Kom ihåg att robots.txt är en begäran, inte ett lås - väluppfostrade crawlers lyder den, skadliga kanske inte gör det, så förlita dig aldrig på den för att skydda hemligheter.

Vanliga frågor

Är den här generatorn gratis?

Ja - helt gratis, ingen registrering.

Var ska robots.txt ligga?

Vid roten av din domän: https://yourdomain.com/robots.txt - ingen annanstans läses.

Blockerar robots.txt sidor från sökresultat helt?

Den blockerar crawling, inte indexering: en blockerad URL kan fortfarande visas i resultat (utan beskrivning) om andra webbplatser länkar till den. Använd en noindex-tagg för att hålla en sida helt ute.

Kan jag blockera AI-crawlers?

AI-förinställningen lägger till grupper som förbjuder GPTBot, CCBot och Google-Extended. Följsamma crawlers respekterar den; den kan inte stoppa skrapor som ignorerar robots.txt.

Laddas något upp?

Nej. Generering och kontroller körs i din webbläsare.

Relaterade Utvecklarverktyg

Bädda in det här verktyget på din webbplats — gratis

Lägg till det här verktyget på din egen webbplats eller blogg — det är helt gratis, kräver ingen registrering och visar alltid den senaste versionen. Kopiera koden nedan och klistra in den på din sida där du vill att verktyget ska visas. Att behålla den lilla kreditraden “Powered by Loona Automation” under inbäddningen hjälper till att hålla det här verktyget gratis — men du får gärna styla eller ta bort den; verktyget fungerar oavsett.