Tester Robots.txt - Povolené alebo zablokované, a presne prečo
Súbor robots.txt sa ľahko píše a ťažko sa o ňom uvažuje. Tento tester odpovedá na jedinú otázku, na ktorej pri danom prehľadávači a URL záleží.
Ako používať Tester Robots.txt
- Vložte obsah svojho robots.txt.
- Zadajte úplnú URL na testovanie a názov user-agenta (Googlebot, GPTBot, *).
- Kliknite na Testovať túto URL.
- Prečítajte si verdikt a zodpovedajúce pravidlo, ktoré ho vytvorilo.
Ako to funguje
Zhoda sleduje štandard (RFC 9309, ako ho implementuje Google): najprv sa vyberie skupina prehľadávača - skupina pomenúvajúca najšpecifickejší zodpovedajúci token user-agenta vyhráva nad skupinou * - potom, vnútri tejto skupiny, vyhráva pravidlo, ktorého vzor cesty sa zhoduje s cestou URL a je najdlhšie; pri remíze Allow porazí Disallow. Vzory podporujú * ako zástupný znak a koncové $ ako koncovú kotvu. Prázdne Disallow sa nezhoduje s ničím, a preto samotné 'Disallow:' povoľuje všetko.
Často kladené otázky
Je tento tester zadarmo?
Áno - úplne zadarmo, bez registrácie.
Ktoré pravidlá zhody sleduje?
RFC 9309 / implementácia Google: najšpecifickejšia skupina agenta, najdlhšie zodpovedajúce pravidlo, Allow vyhráva remízy, podpora vzorov * a $.
Moja URL je tu zablokovaná, ale indexovaná v Google - prečo?
Robots blokuje prehľadávanie, nie indexovanie. Zablokovaná stránka sa stále môže indexovať z odkazov, zobrazená bez popisu.
Sťahuje môj živý robots.txt?
Nie - vložte obsah. Prehliadače nedokážu sťahovať súbory ľubovoľných stránok (CORS) a vloženie vám tiež umožňuje testovať návrh pred jeho publikovaním.
Nahráva sa niečo?
Nie. Testovanie beží vo vašom prehliadači.