Robots.txt-generator - Crawlerregels zonder de syntaxvallen
Eén verkeerde regel in robots.txt kan een hele site voor Google verbergen - of er helemaal niets verbergen. Bouw hem hier, met presets voor de gangbare gevallen en controles op de uitvoer.
De robots.txt-generator gebruiken
- Kies een preset, of begin bij Alles toestaan en pas aan.
- Voeg een groep toe voor een specifieke crawler (bijvoorbeeld GPTBot) met zijn eigen regels.
- Vermeld disallow- en allow-paden, één per regel - paden beginnen met /.
- Voeg je sitemap-URL toe en klik op Genereren.
- Loop de sanity-check-notities door en plaats het bestand dan op yourdomain.com/robots.txt.
Hoe het werkt
Een robots.txt-bestand is een set groepen: elke groep noemt één of meer user-agents (crawlers) gevolgd door Disallow- en Allow-padregels die op hen van toepassing zijn. Een lege Disallow betekent dat alles is toegestaan; Disallow: / blokkeert de hele site voor die agent. Regels worden gematcht op prefix, en Google ondersteunt ook Allow om uitzonderingen uit een bredere Disallow te snijden. Deze generator stuurt groepen uit in het standaardformaat, voegt de Sitemap-regel toe, en sanity-checkt dan zijn eigen uitvoer: onbekende velden, paden die niet met / beginnen, en sitemapregels die geen volledige URL's zijn, worden allemaal gemarkeerd. Onthoud dat robots.txt een verzoek is, geen slot - goed opgevoede crawlers gehoorzamen hem, kwaadwillende misschien niet, dus vertrouw er nooit op om geheimen te beschermen.
Veelgestelde vragen
Is deze generator gratis?
Ja - volledig gratis, geen registratie.
Waar hoort robots.txt?
In de root van je domein: https://yourdomain.com/robots.txt - nergens anders wordt gelezen.
Blokkeert robots.txt pagina's volledig uit zoekresultaten?
Het blokkeert crawlen, niet indexeren: een geblokkeerde URL kan nog steeds in resultaten verschijnen (zonder beschrijving) als andere sites ernaar linken. Gebruik een noindex-tag om een pagina er helemaal buiten te houden.
Kan ik AI-crawlers blokkeren?
De AI-preset voegt groepen toe die GPTBot, CCBot en Google-Extended weigeren. Conforme crawlers respecteren het; het kan scrapers die robots.txt negeren niet stoppen.
Wordt er iets geüpload?
Nee. Generatie en controles gebeuren in je browser.
Gerelateerde developertools
Metatag-generator
Genereer een kant-en-klaar HTML-metablok om te plakken - titel, beschrijving, robots, canonical - met een voorbeeld in SERP-stijl.
Open Graph & Twitter-kaart-generator
Bouw Open Graph- en Twitter Card-tags met een kaartvoorbeeld, zodat gedeelde links er overal goed uitzien.
Robots.txt-generator
Bouw een geldige robots.txt met allow- en disallow-regels per agent en een sitemap-regel.