Logo van Loona AutomationLoona Developertools
Home › Developertools › Robots.txt-tester

Robots.txt-tester - Toegestaan of geblokkeerd, en precies waarom

Kortom: de Robots.txt Tester past de echte matchregels toe - de meest specifieke user-agent-groep, dan de langste matchende padregel, met Allow die gelijkspellen wint - en toont het oordeel plus de exacte regel die het besliste.

Een robots.txt-bestand is makkelijk te schrijven en moeilijk te doorgronden. Deze tester beantwoordt de enige vraag die ertoe doet voor een gegeven crawler en URL.

Privacy in het ontwerp: alles in deze tool gebeurt 100% in je browser met JavaScript. Je invoer wordt nooit naar een server geüpload, nooit opgeslagen en nooit door ons gezien - sluit het tabblad en alles is weg.

De robots.txt-tester gebruiken

  1. Plak je robots.txt-inhoud.
  2. Voer de volledige te testen URL en de user-agentnaam in (Googlebot, GPTBot, *).
  3. Klik op Test deze URL.
  4. Lees het oordeel en de matchregel die het produceerde.

Hoe het werkt

Matchen volgt de standaard (RFC 9309, zoals Google hem implementeert): eerst wordt de groep van de crawler gekozen - de groep die het meest specifieke matchende user-agent-token noemt, wint van de *-groep - daarna wint binnen die groep de regel waarvan het padpatroon het pad van de URL matcht en het langst is; bij gelijkspel wint Allow van Disallow. Patronen ondersteunen * als wildcard en een afsluitende $ als eindanker. Een lege Disallow matcht niets, daarom staat 'Disallow:' alleen alles toe.

Veelgestelde vragen

Is deze tester gratis?

Ja - volledig gratis, geen registratie.

Welke matchregels volgt het?

RFC 9309 / Google's implementatie: meest specifieke agentgroep, langste matchregel, Allow wint bij gelijkspel, * en $ patroonondersteuning.

Mijn URL is hier geblokkeerd maar geïndexeerd in Google - waarom?

Robots blokkeert crawlen, niet indexeren. Een geblokkeerde pagina kan nog steeds uit links worden geïndexeerd, getoond zonder beschrijving.

Haalt het mijn live robots.txt op?

Nee - plak de inhoud. Browsers kunnen bestanden van willekeurige sites niet ophalen (CORS), en plakken laat je ook een concept testen vóór publicatie.

Wordt er iets geüpload?

Nee. Testen gebeurt in je browser.

Gerelateerde developertools

Embed deze tool op je website — gratis

Voeg deze tool toe aan je eigen website of blog — hij is volledig gratis, vereist geen registratie en toont altijd de nieuwste versie. Kopieer de onderstaande code en plak die in je pagina waar de tool moet verschijnen. De kleine creditregel “Powered by Loona Automation” onder de embed laten staan helpt deze tool gratis te houden — maar je mag hem gerust opmaken of verwijderen; de tool werkt hoe dan ook.