Loona-Automation-LogoLoona Developer Tools
Startseite › Developer Tools › Robots.txt-Tester

Robots.txt-Tester - Erlaubt oder blockiert, und genau warum

Kurz gesagt: das Robots.txt-Tester wendet die echten Abgleichsregeln an – die spezifischste User-Agent-Gruppe, dann die am längsten passende Pfad-Regel, wobei Allow bei Gleichstand gewinnt – und zeigt das Urteil plus die exakte Regel, die es entschieden hat.

Eine robots.txt-Datei ist leicht zu schreiben und schwer zu durchdenken. Dieser Tester beantwortet die einzige Frage, die für einen gegebenen Crawler und eine URL zählt.

Privat per Design: alles in diesem Tool geschieht zu 100 % in Ihrem Browser mit JavaScript. Ihre Eingabe wird niemals auf einen Server hochgeladen, niemals gespeichert und niemals von uns gesehen – schließen Sie den Tab und alles ist weg.

So verwenden Sie den Robots.txt-Tester

  1. Fügen Sie Ihren robots.txt-Inhalt ein.
  2. Geben Sie die vollständige zu testende URL und den User-Agent-Namen ein (Googlebot, GPTBot, *).
  3. Klicken Sie auf „Diese URL testen“.
  4. Lesen Sie das Urteil und die übereinstimmende Regel, die es erzeugt hat.

So funktioniert es

Der Abgleich folgt dem Standard (RFC 9309, wie Google ihn implementiert): Zuerst wird die Gruppe des Crawlers gewählt – die Gruppe, die das spezifischste übereinstimmende User-Agent-Token nennt, gewinnt gegen die *-Gruppe –, dann gewinnt innerhalb dieser Gruppe die Regel, deren Pfadmuster zum Pfad der URL passt und am längsten ist; bei Gleichstand schlägt Allow Disallow. Muster unterstützen * als Wildcard und ein abschließendes $ als Endanker. Ein leeres Disallow trifft auf nichts, weshalb „Disallow:“ allein alles erlaubt.

Häufig gestellte Fragen

Ist dieser Tester kostenlos?

Ja – völlig kostenlos, keine Registrierung.

Welchen Abgleichsregeln folgt es?

RFC 9309 / Googles Implementierung: spezifischste Agenten-Gruppe, längste übereinstimmende Regel, Allow gewinnt bei Gleichstand, *- und $-Muster-Unterstützung.

Meine URL ist hier blockiert, aber in Google indexiert – warum?

Robots blockiert das Crawlen, nicht die Indexierung. Eine blockierte Seite kann trotzdem aus Links indexiert werden, angezeigt ohne Beschreibung.

Holt es meine live robots.txt?

Nein – fügen Sie den Inhalt ein. Browser können keine Dateien beliebiger Websites abrufen (CORS), und das Einfügen lässt Sie auch einen Entwurf testen, bevor Sie ihn veröffentlichen.

Wird irgendetwas hochgeladen?

Nein. Das Testen läuft in Ihrem Browser.

Verwandte Developer Tools

Betten Sie dieses Tool auf Ihrer Website ein — kostenlos

Fügen Sie dieses Tool zu Ihrer eigenen Website oder Ihrem Blog hinzu — es ist völlig kostenlos, braucht keine Registrierung und zeigt immer die neueste Version. Kopieren Sie den Code unten und fügen Sie ihn in Ihre Seite ein, wo das Tool erscheinen soll. Die kleine Zeile “Powered by Loona Automation” unter dem Embed stehen zu lassen, hilft, dieses Tool kostenlos zu halten — aber Sie können sie frei gestalten oder entfernen; das Tool funktioniert in beiden Fällen.