Robots.txt-Tester - Erlaubt oder blockiert, und genau warum
Eine robots.txt-Datei ist leicht zu schreiben und schwer zu durchdenken. Dieser Tester beantwortet die einzige Frage, die für einen gegebenen Crawler und eine URL zählt.
So verwenden Sie den Robots.txt-Tester
- Fügen Sie Ihren robots.txt-Inhalt ein.
- Geben Sie die vollständige zu testende URL und den User-Agent-Namen ein (Googlebot, GPTBot, *).
- Klicken Sie auf „Diese URL testen“.
- Lesen Sie das Urteil und die übereinstimmende Regel, die es erzeugt hat.
So funktioniert es
Der Abgleich folgt dem Standard (RFC 9309, wie Google ihn implementiert): Zuerst wird die Gruppe des Crawlers gewählt – die Gruppe, die das spezifischste übereinstimmende User-Agent-Token nennt, gewinnt gegen die *-Gruppe –, dann gewinnt innerhalb dieser Gruppe die Regel, deren Pfadmuster zum Pfad der URL passt und am längsten ist; bei Gleichstand schlägt Allow Disallow. Muster unterstützen * als Wildcard und ein abschließendes $ als Endanker. Ein leeres Disallow trifft auf nichts, weshalb „Disallow:“ allein alles erlaubt.
Häufig gestellte Fragen
Ist dieser Tester kostenlos?
Ja – völlig kostenlos, keine Registrierung.
Welchen Abgleichsregeln folgt es?
RFC 9309 / Googles Implementierung: spezifischste Agenten-Gruppe, längste übereinstimmende Regel, Allow gewinnt bei Gleichstand, *- und $-Muster-Unterstützung.
Meine URL ist hier blockiert, aber in Google indexiert – warum?
Robots blockiert das Crawlen, nicht die Indexierung. Eine blockierte Seite kann trotzdem aus Links indexiert werden, angezeigt ohne Beschreibung.
Holt es meine live robots.txt?
Nein – fügen Sie den Inhalt ein. Browser können keine Dateien beliebiger Websites abrufen (CORS), und das Einfügen lässt Sie auch einen Entwurf testen, bevor Sie ihn veröffentlichen.
Wird irgendetwas hochgeladen?
Nein. Das Testen läuft in Ihrem Browser.