Logo Loona AutomationLoona Vývojárske nástroje
Domov › Vývojárske nástroje › Tester Robots.txt

Tester Robots.txt - Povolené alebo zablokované, a presne prečo

Skrátka: Tester Robots.txt uplatňuje skutočné pravidlá zhody - najšpecifickejšiu skupinu user-agenta, potom najdlhšie zodpovedajúce pravidlo cesty, pričom Allow vyhráva remízy - a ukazuje verdikt plus presné pravidlo, ktoré ho rozhodlo.

Súbor robots.txt sa ľahko píše a ťažko sa o ňom uvažuje. Tento tester odpovedá na jedinú otázku, na ktorej pri danom prehľadávači a URL záleží.

Súkromné konštrukciou: všetko v tomto nástroji sa deje 100% vo vašom prehliadači pomocou JavaScriptu. Váš vstup sa nikdy nenahráva na server, nikdy sa neukladá a nikdy ho nevidíme - zatvorte kartu a všetko je preč.

Ako používať Tester Robots.txt

  1. Vložte obsah svojho robots.txt.
  2. Zadajte úplnú URL na testovanie a názov user-agenta (Googlebot, GPTBot, *).
  3. Kliknite na Testovať túto URL.
  4. Prečítajte si verdikt a zodpovedajúce pravidlo, ktoré ho vytvorilo.

Ako to funguje

Zhoda sleduje štandard (RFC 9309, ako ho implementuje Google): najprv sa vyberie skupina prehľadávača - skupina pomenúvajúca najšpecifickejší zodpovedajúci token user-agenta vyhráva nad skupinou * - potom, vnútri tejto skupiny, vyhráva pravidlo, ktorého vzor cesty sa zhoduje s cestou URL a je najdlhšie; pri remíze Allow porazí Disallow. Vzory podporujú * ako zástupný znak a koncové $ ako koncovú kotvu. Prázdne Disallow sa nezhoduje s ničím, a preto samotné 'Disallow:' povoľuje všetko.

Často kladené otázky

Je tento tester zadarmo?

Áno - úplne zadarmo, bez registrácie.

Ktoré pravidlá zhody sleduje?

RFC 9309 / implementácia Google: najšpecifickejšia skupina agenta, najdlhšie zodpovedajúce pravidlo, Allow vyhráva remízy, podpora vzorov * a $.

Moja URL je tu zablokovaná, ale indexovaná v Google - prečo?

Robots blokuje prehľadávanie, nie indexovanie. Zablokovaná stránka sa stále môže indexovať z odkazov, zobrazená bez popisu.

Sťahuje môj živý robots.txt?

Nie - vložte obsah. Prehliadače nedokážu sťahovať súbory ľubovoľných stránok (CORS) a vloženie vám tiež umožňuje testovať návrh pred jeho publikovaním.

Nahráva sa niečo?

Nie. Testovanie beží vo vašom prehliadači.

Súvisiace vývojárske nástroje

Vložte tento nástroj na svoju webovú stránku — zadarmo

Pridajte tento nástroj na svoju vlastnú webovú stránku alebo blog — je úplne zadarmo, nevyžaduje registráciu a vždy zobrazuje najnovšiu verziu. Skopírujte kód nižšie a vložte ho do svojej stránky tam, kde chcete, aby sa nástroj zobrazoval. Ponechanie malého riadka s uvedením zdroja “Powered by Loona Automation” pod vloženým prvkom pomáha udržať tento nástroj zadarmo — ale môžete ho štylizovať alebo odstrániť; nástroj funguje tak či tak.