Loona-Automation-LogoLoona Developer Tools
Startseite › Developer Tools › Robots.txt-Generator

Robots.txt-Generator - Crawler-Regeln ohne die Syntax-Fallen

Kurz gesagt: das Robots.txt-Generator baut eine gültige robots.txt aus Presets und Pro-Agent-Regeln – Erlaubnis- und Verbots-Pfade pro Crawler, plus Ihre Sitemap-Zeile – und führt Vernunftprüfungen am Ergebnis aus, bevor Sie es ausliefern.

Eine falsche Zeile in robots.txt kann eine ganze Website vor Google verbergen – oder überhaupt nichts verbergen. Bauen Sie sie hier, mit Presets für die üblichen Fälle und Prüfungen der Ausgabe.

Privat per Design: alles in diesem Tool geschieht zu 100 % in Ihrem Browser mit JavaScript. Ihre Eingabe wird niemals auf einen Server hochgeladen, niemals gespeichert und niemals von uns gesehen – schließen Sie den Tab und alles ist weg.

So verwenden Sie den Robots.txt-Generator

  1. Wählen Sie ein Preset, oder beginnen Sie mit „Alles erlauben“ und passen Sie es an.
  2. Fügen Sie für jeden bestimmten Crawler (zum Beispiel GPTBot) eine Gruppe mit eigenen Regeln hinzu.
  3. Listen Sie Disallow- und Allow-Pfade auf, einen pro Zeile – Pfade beginnen mit /.
  4. Fügen Sie Ihre Sitemap-URL hinzu und klicken Sie auf Generieren.
  5. Gehen Sie die Plausibilitäts-Hinweise durch und platzieren Sie die Datei dann unter yourdomain.com/robots.txt.

So funktioniert es

Eine robots.txt-Datei ist eine Menge von Gruppen: Jede Gruppe nennt einen oder mehrere User-Agents (Crawler), gefolgt von Disallow- und Allow-Pfadregeln, die für sie gelten. Ein leeres Disallow bedeutet, dass alles erlaubt ist; Disallow: / blockiert die ganze Website für diesen Agent. Regeln werden per Präfix abgeglichen, und Google unterstützt auch Allow, um Ausnahmen aus einem breiteren Disallow herauszuschneiden. Dieser Generator gibt Gruppen im Standardformat aus, hängt die Sitemap-Zeile an und prüft dann seine eigene Ausgabe: Unbekannte Felder, Pfade, die nicht mit / beginnen, und Sitemap-Zeilen, die keine vollständigen URLs sind, werden alle markiert. Denken Sie daran, dass robots.txt eine Bitte ist, kein Schloss – gut erzogene Crawler gehorchen ihr, bösartige möglicherweise nicht, also verlassen Sie sich niemals darauf, um Geheimnisse zu schützen.

Häufig gestellte Fragen

Ist dieser Generator kostenlos?

Ja – völlig kostenlos, keine Registrierung.

Wohin gehört robots.txt?

Im Stammverzeichnis Ihrer Domain: https://yourdomain.com/robots.txt – nirgendwo sonst wird gelesen.

Blockiert robots.txt Seiten vollständig aus Suchergebnissen?

Es blockiert das Crawlen, nicht die Indexierung: Eine blockierte URL kann trotzdem in Ergebnissen erscheinen (ohne Beschreibung), wenn andere Websites auf sie verlinken. Nutzen Sie ein noindex-Tag, um eine Seite ganz draußen zu halten.

Kann ich KI-Crawler blockieren?

Das KI-Preset fügt Gruppen hinzu, die GPTBot, CCBot und Google-Extended verbieten. Konforme Crawler ehren es; es kann Scraper, die robots.txt ignorieren, nicht stoppen.

Wird irgendetwas hochgeladen?

Nein. Generierung und Prüfungen laufen in Ihrem Browser.

Verwandte Developer Tools

Betten Sie dieses Tool auf Ihrer Website ein — kostenlos

Fügen Sie dieses Tool zu Ihrer eigenen Website oder Ihrem Blog hinzu — es ist völlig kostenlos, braucht keine Registrierung und zeigt immer die neueste Version. Kopieren Sie den Code unten und fügen Sie ihn in Ihre Seite ein, wo das Tool erscheinen soll. Die kleine Zeile “Powered by Loona Automation” unter dem Embed stehen zu lassen, hilft, dieses Tool kostenlos zu halten — aber Sie können sie frei gestalten oder entfernen; das Tool funktioniert in beiden Fällen.