Robots.txt-tester - Toegestaan of geblokkeerd, en precies waarom
Een robots.txt-bestand is makkelijk te schrijven en moeilijk te doorgronden. Deze tester beantwoordt de enige vraag die ertoe doet voor een gegeven crawler en URL.
De robots.txt-tester gebruiken
- Plak je robots.txt-inhoud.
- Voer de volledige te testen URL en de user-agentnaam in (Googlebot, GPTBot, *).
- Klik op Test deze URL.
- Lees het oordeel en de matchregel die het produceerde.
Hoe het werkt
Matchen volgt de standaard (RFC 9309, zoals Google hem implementeert): eerst wordt de groep van de crawler gekozen - de groep die het meest specifieke matchende user-agent-token noemt, wint van de *-groep - daarna wint binnen die groep de regel waarvan het padpatroon het pad van de URL matcht en het langst is; bij gelijkspel wint Allow van Disallow. Patronen ondersteunen * als wildcard en een afsluitende $ als eindanker. Een lege Disallow matcht niets, daarom staat 'Disallow:' alleen alles toe.
Veelgestelde vragen
Is deze tester gratis?
Ja - volledig gratis, geen registratie.
Welke matchregels volgt het?
RFC 9309 / Google's implementatie: meest specifieke agentgroep, langste matchregel, Allow wint bij gelijkspel, * en $ patroonondersteuning.
Mijn URL is hier geblokkeerd maar geïndexeerd in Google - waarom?
Robots blokkeert crawlen, niet indexeren. Een geblokkeerde pagina kan nog steeds uit links worden geïndexeerd, getoond zonder beschrijving.
Haalt het mijn live robots.txt op?
Nee - plak de inhoud. Browsers kunnen bestanden van willekeurige sites niet ophalen (CORS), en plakken laat je ook een concept testen vóór publicatie.
Wordt er iets geüpload?
Nee. Testen gebeurt in je browser.