Logo van Loona AutomationLoona Developertools
Home › Developertools › Robots.txt-generator

Robots.txt-generator - Crawlerregels zonder de syntaxvallen

Kortom: de Robots.txt-generator bouwt een geldige robots.txt uit presets en regels per agent - allow- en disallow-paden per crawler, plus je sitemap-regel - en draait sanity checks op het resultaat voordat je hem verstuurt.

Eén verkeerde regel in robots.txt kan een hele site voor Google verbergen - of er helemaal niets verbergen. Bouw hem hier, met presets voor de gangbare gevallen en controles op de uitvoer.

Privacy in het ontwerp: alles in deze tool gebeurt 100% in je browser met JavaScript. Je invoer wordt nooit naar een server geüpload, nooit opgeslagen en nooit door ons gezien - sluit het tabblad en alles is weg.

De robots.txt-generator gebruiken

  1. Kies een preset, of begin bij Alles toestaan en pas aan.
  2. Voeg een groep toe voor een specifieke crawler (bijvoorbeeld GPTBot) met zijn eigen regels.
  3. Vermeld disallow- en allow-paden, één per regel - paden beginnen met /.
  4. Voeg je sitemap-URL toe en klik op Genereren.
  5. Loop de sanity-check-notities door en plaats het bestand dan op yourdomain.com/robots.txt.

Hoe het werkt

Een robots.txt-bestand is een set groepen: elke groep noemt één of meer user-agents (crawlers) gevolgd door Disallow- en Allow-padregels die op hen van toepassing zijn. Een lege Disallow betekent dat alles is toegestaan; Disallow: / blokkeert de hele site voor die agent. Regels worden gematcht op prefix, en Google ondersteunt ook Allow om uitzonderingen uit een bredere Disallow te snijden. Deze generator stuurt groepen uit in het standaardformaat, voegt de Sitemap-regel toe, en sanity-checkt dan zijn eigen uitvoer: onbekende velden, paden die niet met / beginnen, en sitemapregels die geen volledige URL's zijn, worden allemaal gemarkeerd. Onthoud dat robots.txt een verzoek is, geen slot - goed opgevoede crawlers gehoorzamen hem, kwaadwillende misschien niet, dus vertrouw er nooit op om geheimen te beschermen.

Veelgestelde vragen

Is deze generator gratis?

Ja - volledig gratis, geen registratie.

Waar hoort robots.txt?

In de root van je domein: https://yourdomain.com/robots.txt - nergens anders wordt gelezen.

Blokkeert robots.txt pagina's volledig uit zoekresultaten?

Het blokkeert crawlen, niet indexeren: een geblokkeerde URL kan nog steeds in resultaten verschijnen (zonder beschrijving) als andere sites ernaar linken. Gebruik een noindex-tag om een pagina er helemaal buiten te houden.

Kan ik AI-crawlers blokkeren?

De AI-preset voegt groepen toe die GPTBot, CCBot en Google-Extended weigeren. Conforme crawlers respecteren het; het kan scrapers die robots.txt negeren niet stoppen.

Wordt er iets geüpload?

Nee. Generatie en controles gebeuren in je browser.

Gerelateerde developertools

Embed deze tool op je website — gratis

Voeg deze tool toe aan je eigen website of blog — hij is volledig gratis, vereist geen registratie en toont altijd de nieuwste versie. Kopieer de onderstaande code en plak die in je pagina waar de tool moet verschijnen. De kleine creditregel “Powered by Loona Automation” onder de embed laten staan helpt deze tool gratis te houden — maar je mag hem gerust opmaken of verwijderen; de tool werkt hoe dan ook.