Logo Loona AutomationLoona Vývojárske nástroje
Domov › Vývojárske nástroje › Generátor Robots.txt

Generátor Robots.txt - Pravidlá prehľadávačov bez pascí syntaxe

Skrátka: Generátor Robots.txt stavia platný robots.txt z predvolieb a pravidiel podľa agenta - cesty povolenia a zakázania podľa prehľadávača, plus váš riadok sitemap - a spúšťa kontroly zdravého rozumu výsledku pred jeho dodaním.

Jeden nesprávny riadok v robots.txt môže skryť celú stránku pred Google - alebo nedokáže skryť vôbec nič. Postavte ho tu, s predvoľbami pre bežné prípady a kontrolami výstupu.

Súkromné konštrukciou: všetko v tomto nástroji sa deje 100% vo vašom prehliadači pomocou JavaScriptu. Váš vstup sa nikdy nenahráva na server, nikdy sa neukladá a nikdy ho nevidíme - zatvorte kartu a všetko je preč.

Ako používať Generátor Robots.txt

  1. Vyberte predvoľbu alebo začnite od Povoliť všetko a prispôsobte.
  2. Pridajte skupinu pre akéhokoľvek konkrétneho prehľadávača (napríklad GPTBot) s vlastnými pravidlami.
  3. Uveďte cesty zakázania a povolenia, jednu na riadok - cesty začínajú na /.
  4. Pridajte URL svojej sitemap a kliknite na Generovať.
  5. Prebehnite poznámky kontroly zdravého rozumu, potom umiestnite súbor na yourdomain.com/robots.txt.

Ako to funguje

Súbor robots.txt je sada skupín: každá skupina pomenúva jedného alebo viacerých user-agentov (prehľadávače) a za nimi nasledujú pravidlá ciest Disallow a Allow, ktoré sa na nich vzťahujú. Prázdne pravidlo Disallow znamená, že všetko je povolené; Disallow: / blokuje celú stránku pre daného agenta. Pravidlá sa zhodujú podľa predpony a Google tiež podporuje Allow na vyrezanie výnimiek zo širšieho Disallow. Tento generátor vydáva skupiny v štandardnom formáte, pripája riadok Sitemap a potom kontroluje zdravý rozum vlastného výstupu: neznáme polia, cesty, ktoré nezačínajú na /, a riadky sitemap, ktoré nie sú úplné URL, sa všetky označia. Pamätajte, robots.txt je žiadosť, nie zámok - dobre vychované prehľadávače ho poslúchajú, škodlivé nemusia, takže sa naň nikdy nespoliehajte na ochranu tajomstiev.

Často kladené otázky

Je tento generátor zadarmo?

Áno - úplne zadarmo, bez registrácie.

Kam ide robots.txt?

V koreni vašej domény: https://yourdomain.com/robots.txt – nikde inde sa nečíta.

Blokuje robots.txt stránky z výsledkov vyhľadávania úplne?

Blokuje prehľadávanie, nie indexovanie: zablokovaná URL sa stále môže objaviť vo výsledkoch (bez popisu), ak na ňu odkazujú iné stránky. Na úplné vyradenie stránky použite značku noindex.

Môžem blokovať prehľadávače AI?

Predvoľba AI pridáva skupiny zakazujúce GPTBot, CCBot a Google-Extended. Poslušné prehľadávače ju ctia; nedokáže zastaviť škrabáky, ktoré robots.txt ignorujú.

Nahráva sa niečo?

Nie. Generovanie a kontroly bežia vo vašom prehliadači.

Súvisiace vývojárske nástroje

Vložte tento nástroj na svoju webovú stránku — zadarmo

Pridajte tento nástroj na svoju vlastnú webovú stránku alebo blog — je úplne zadarmo, nevyžaduje registráciu a vždy zobrazuje najnovšiu verziu. Skopírujte kód nižšie a vložte ho do svojej stránky tam, kde chcete, aby sa nástroj zobrazoval. Ponechanie malého riadka s uvedením zdroja “Powered by Loona Automation” pod vloženým prvkom pomáha udržať tento nástroj zadarmo — ale môžete ho štylizovať alebo odstrániť; nástroj funguje tak či tak.