Robots.txt-Generator - Crawler-Regeln ohne die Syntax-Fallen
Eine falsche Zeile in robots.txt kann eine ganze Website vor Google verbergen – oder überhaupt nichts verbergen. Bauen Sie sie hier, mit Presets für die üblichen Fälle und Prüfungen der Ausgabe.
So verwenden Sie den Robots.txt-Generator
- Wählen Sie ein Preset, oder beginnen Sie mit „Alles erlauben“ und passen Sie es an.
- Fügen Sie für jeden bestimmten Crawler (zum Beispiel GPTBot) eine Gruppe mit eigenen Regeln hinzu.
- Listen Sie Disallow- und Allow-Pfade auf, einen pro Zeile – Pfade beginnen mit /.
- Fügen Sie Ihre Sitemap-URL hinzu und klicken Sie auf Generieren.
- Gehen Sie die Plausibilitäts-Hinweise durch und platzieren Sie die Datei dann unter yourdomain.com/robots.txt.
So funktioniert es
Eine robots.txt-Datei ist eine Menge von Gruppen: Jede Gruppe nennt einen oder mehrere User-Agents (Crawler), gefolgt von Disallow- und Allow-Pfadregeln, die für sie gelten. Ein leeres Disallow bedeutet, dass alles erlaubt ist; Disallow: / blockiert die ganze Website für diesen Agent. Regeln werden per Präfix abgeglichen, und Google unterstützt auch Allow, um Ausnahmen aus einem breiteren Disallow herauszuschneiden. Dieser Generator gibt Gruppen im Standardformat aus, hängt die Sitemap-Zeile an und prüft dann seine eigene Ausgabe: Unbekannte Felder, Pfade, die nicht mit / beginnen, und Sitemap-Zeilen, die keine vollständigen URLs sind, werden alle markiert. Denken Sie daran, dass robots.txt eine Bitte ist, kein Schloss – gut erzogene Crawler gehorchen ihr, bösartige möglicherweise nicht, also verlassen Sie sich niemals darauf, um Geheimnisse zu schützen.
Häufig gestellte Fragen
Ist dieser Generator kostenlos?
Ja – völlig kostenlos, keine Registrierung.
Wohin gehört robots.txt?
Im Stammverzeichnis Ihrer Domain: https://yourdomain.com/robots.txt – nirgendwo sonst wird gelesen.
Blockiert robots.txt Seiten vollständig aus Suchergebnissen?
Es blockiert das Crawlen, nicht die Indexierung: Eine blockierte URL kann trotzdem in Ergebnissen erscheinen (ohne Beschreibung), wenn andere Websites auf sie verlinken. Nutzen Sie ein noindex-Tag, um eine Seite ganz draußen zu halten.
Kann ich KI-Crawler blockieren?
Das KI-Preset fügt Gruppen hinzu, die GPTBot, CCBot und Google-Extended verbieten. Konforme Crawler ehren es; es kann Scraper, die robots.txt ignorieren, nicht stoppen.
Wird irgendetwas hochgeladen?
Nein. Generierung und Prüfungen laufen in Ihrem Browser.
Verwandte Developer Tools
Meta-Tag-Generator
Generieren Sie einen einfügefertigen HTML-Meta-Block – Titel, Beschreibung, Robots, Canonical – mit einer Vorschau im SERP-Stil.
Open-Graph- & Twitter-Card-Generator
Erstellen Sie Open-Graph- und Twitter-Card-Tags mit einer Karten-Vorschau, damit geteilte Links überall richtig aussehen.
Robots.txt-Generator
Erstellen Sie eine gültige robots.txt mit Erlaubnis- und Verbotsregeln pro Agent und einer Sitemap-Zeile.