Tester Robots.txt - Povoleno nebo blokováno, a přesně proč
Soubor robots.txt se snadno píše a těžko se o něm uvažuje. Tento tester odpoví na jedinou otázku, na které pro daného prohledávače a URL záleží.
Jak používat Tester Robots.txt
- Vložte obsah svého robots.txt.
- Zadejte úplnou URL k testování a název user-agenta (Googlebot, GPTBot, *).
- Klikněte na Testovat tuto URL.
- Přečtěte si verdikt a odpovídající pravidlo, které ho vytvořilo.
Jak to funguje
Párování následuje standard (RFC 9309, jak ho implementuje Google): nejprve se zvolí skupina prohledávače - skupina pojmenovávající nejvíce specifický odpovídající token user-agenta vítězí nad skupinou * - poté uvnitř této skupiny vítězí pravidlo, jehož vzor cesty odpovídá cestě URL a je nejdelší; při rovnosti Allow poráží Disallow. Vzory podporují * jako zástupný znak a koncové $ jako kotvu konce. Prázdné Disallow neodpovídá ničemu, a proto samotné 'Disallow:' povoluje vše.
Často kladené otázky
Je tento tester zdarma?
Ano – zcela zdarma, bez registrace.
Jakými pravidly porovnávání se řídí?
Implementace RFC 9309 / Google: nejvíce specifická skupina agentů, nejdelší odpovídající pravidlo, Allow vítězí při rovnosti, podpora vzorů * a $.
Moje URL je zde blokovaná, ale v Google indexovaná - proč?
Robots blokuje procházení, ne indexování. Blokovaná stránka přesto může být indexována z odkazů, zobrazena bez popisu.
Stahuje to můj živý robots.txt?
Ne - vložte obsah. Prohlížeče nemohou stahovat soubory libovolných webů (CORS) a vložení vám také umožní otestovat návrh před jeho publikováním.
Nahrává se něco?
Ne. Testování běží ve vašem prohlížeči.