Robots.txt-generator - Crawlerregler Utan Syntaxfällorna
En fel rad i robots.txt kan gömma en hel webbplats från Google - eller misslyckas med att gömma någonting alls. Bygg den här, med förinställningar för de vanliga fallen och kontroller på utdata.
Så använder du Robots.txt-generatorn
- Välj en förinställning, eller börja från Tillåt allt och anpassa.
- Lägg till en grupp för en specifik crawler (till exempel GPTBot) med egna regler.
- Lista disallow- och allow-sökvägar, en per rad - sökvägar börjar med /.
- Lägg till din sitemap-URL och klicka på Generera.
- Gå igenom förnuftskontrollanteckningarna och placera sedan filen på yourdomain.com/robots.txt.
Så fungerar det
En robots.txt-fil är en uppsättning grupper: varje grupp namnger en eller flera user-agents (crawlers) följda av Disallow- och Allow-sökvägsregler som gäller för dem. En tom Disallow betyder att allt är tillåtet; Disallow: / blockerar hela webbplatsen för den agenten. Regler matchas efter prefix, och Google stöder också Allow för att skära ut undantag ur en bredare Disallow. Den här generatorn avger grupper i standardformatet, lägger till Sitemap-raden, och förnuftskontrollerar sedan sin egen utdata: okända fält, sökvägar som inte börjar med /, och sitemap-rader som inte är fullständiga URL:er flaggas alla. Kom ihåg att robots.txt är en begäran, inte ett lås - väluppfostrade crawlers lyder den, skadliga kanske inte gör det, så förlita dig aldrig på den för att skydda hemligheter.
Vanliga frågor
Är den här generatorn gratis?
Ja - helt gratis, ingen registrering.
Var ska robots.txt ligga?
Vid roten av din domän: https://yourdomain.com/robots.txt - ingen annanstans läses.
Blockerar robots.txt sidor från sökresultat helt?
Den blockerar crawling, inte indexering: en blockerad URL kan fortfarande visas i resultat (utan beskrivning) om andra webbplatser länkar till den. Använd en noindex-tagg för att hålla en sida helt ute.
Kan jag blockera AI-crawlers?
AI-förinställningen lägger till grupper som förbjuder GPTBot, CCBot och Google-Extended. Följsamma crawlers respekterar den; den kan inte stoppa skrapor som ignorerar robots.txt.
Laddas något upp?
Nej. Generering och kontroller körs i din webbläsare.
Relaterade Utvecklarverktyg
Metataggenerator
Generera ett inklistringsredo HTML-metablock - titel, beskrivning, robots, canonical - med en förhandsgranskning i SERP-stil.
Open Graph & Twitter Card-generator
Bygg Open Graph- och Twitter Card-taggar med en kortförhandsgranskning, så att delade länkar ser rätt ut överallt.
Robots.txt-generator
Bygg en giltig robots.txt med allow- och disallow-regler per agent och en sitemap-rad.