Logo Loona AutomationLoona Vývojářské nástroje
Domů › Vývojářské nástroje › Tester Robots.txt

Tester Robots.txt - Povoleno nebo blokováno, a přesně proč

Stručně: tester Robots.txt aplikuje skutečná pravidla porovnávání – nejkonkrétnější skupinu user-agent, pak nejdelší odpovídající pravidlo cesty, přičemž Allow vyhrává remízy – a zobrazí verdikt plus přesné pravidlo, které o něm rozhodlo.

Soubor robots.txt se snadno píše a těžko se o něm uvažuje. Tento tester odpoví na jedinou otázku, na které pro daného prohledávače a URL záleží.

Soukromé už designem: vše v tomto nástroji probíhá 100% ve vašem prohlížeči pomocí JavaScriptu. Váš vstup se nikdy nenahrává na server, nikdy se neukládá a nikdy ho nevidíme – zavřete kartu a vše je pryč.

Jak používat Tester Robots.txt

  1. Vložte obsah svého robots.txt.
  2. Zadejte úplnou URL k testování a název user-agenta (Googlebot, GPTBot, *).
  3. Klikněte na Testovat tuto URL.
  4. Přečtěte si verdikt a odpovídající pravidlo, které ho vytvořilo.

Jak to funguje

Párování následuje standard (RFC 9309, jak ho implementuje Google): nejprve se zvolí skupina prohledávače - skupina pojmenovávající nejvíce specifický odpovídající token user-agenta vítězí nad skupinou * - poté uvnitř této skupiny vítězí pravidlo, jehož vzor cesty odpovídá cestě URL a je nejdelší; při rovnosti Allow poráží Disallow. Vzory podporují * jako zástupný znak a koncové $ jako kotvu konce. Prázdné Disallow neodpovídá ničemu, a proto samotné 'Disallow:' povoluje vše.

Často kladené otázky

Je tento tester zdarma?

Ano – zcela zdarma, bez registrace.

Jakými pravidly porovnávání se řídí?

Implementace RFC 9309 / Google: nejvíce specifická skupina agentů, nejdelší odpovídající pravidlo, Allow vítězí při rovnosti, podpora vzorů * a $.

Moje URL je zde blokovaná, ale v Google indexovaná - proč?

Robots blokuje procházení, ne indexování. Blokovaná stránka přesto může být indexována z odkazů, zobrazena bez popisu.

Stahuje to můj živý robots.txt?

Ne - vložte obsah. Prohlížeče nemohou stahovat soubory libovolných webů (CORS) a vložení vám také umožní otestovat návrh před jeho publikováním.

Nahrává se něco?

Ne. Testování běží ve vašem prohlížeči.

Související vývojářské nástroje

Vložte tento nástroj na svůj web — zdarma

Přidejte tento nástroj na svůj vlastní web nebo blog — je zcela zdarma, nevyžaduje registraci a vždy zobrazuje nejnovější verzi. Zkopírujte níže uvedený kód a vložte ho na svou stránku tam, kde chcete, aby se nástroj zobrazil. Ponechání malého řádku s poděkováním “Powered by Loona Automation” pod vloženým nástrojem pomáhá udržet tento nástroj zdarma — ale můžete ho upravit stylem nebo odstranit; nástroj funguje tak jako tak.