Generátor Robots.txt - Pravidlá prehľadávačov bez pascí syntaxe
Jeden nesprávny riadok v robots.txt môže skryť celú stránku pred Google - alebo nedokáže skryť vôbec nič. Postavte ho tu, s predvoľbami pre bežné prípady a kontrolami výstupu.
Ako používať Generátor Robots.txt
- Vyberte predvoľbu alebo začnite od Povoliť všetko a prispôsobte.
- Pridajte skupinu pre akéhokoľvek konkrétneho prehľadávača (napríklad GPTBot) s vlastnými pravidlami.
- Uveďte cesty zakázania a povolenia, jednu na riadok - cesty začínajú na /.
- Pridajte URL svojej sitemap a kliknite na Generovať.
- Prebehnite poznámky kontroly zdravého rozumu, potom umiestnite súbor na yourdomain.com/robots.txt.
Ako to funguje
Súbor robots.txt je sada skupín: každá skupina pomenúva jedného alebo viacerých user-agentov (prehľadávače) a za nimi nasledujú pravidlá ciest Disallow a Allow, ktoré sa na nich vzťahujú. Prázdne pravidlo Disallow znamená, že všetko je povolené; Disallow: / blokuje celú stránku pre daného agenta. Pravidlá sa zhodujú podľa predpony a Google tiež podporuje Allow na vyrezanie výnimiek zo širšieho Disallow. Tento generátor vydáva skupiny v štandardnom formáte, pripája riadok Sitemap a potom kontroluje zdravý rozum vlastného výstupu: neznáme polia, cesty, ktoré nezačínajú na /, a riadky sitemap, ktoré nie sú úplné URL, sa všetky označia. Pamätajte, robots.txt je žiadosť, nie zámok - dobre vychované prehľadávače ho poslúchajú, škodlivé nemusia, takže sa naň nikdy nespoliehajte na ochranu tajomstiev.
Často kladené otázky
Je tento generátor zadarmo?
Áno - úplne zadarmo, bez registrácie.
Kam ide robots.txt?
V koreni vašej domény: https://yourdomain.com/robots.txt – nikde inde sa nečíta.
Blokuje robots.txt stránky z výsledkov vyhľadávania úplne?
Blokuje prehľadávanie, nie indexovanie: zablokovaná URL sa stále môže objaviť vo výsledkoch (bez popisu), ak na ňu odkazujú iné stránky. Na úplné vyradenie stránky použite značku noindex.
Môžem blokovať prehľadávače AI?
Predvoľba AI pridáva skupiny zakazujúce GPTBot, CCBot a Google-Extended. Poslušné prehľadávače ju ctia; nedokáže zastaviť škrabáky, ktoré robots.txt ignorujú.
Nahráva sa niečo?
Nie. Generovanie a kontroly bežia vo vašom prehliadači.
Súvisiace vývojárske nástroje
Generátor meta značiek
Generujte hotový meta blok HTML na vloženie - názov, popis, robots, canonical - s náhľadom v štýle SERP.
Generátor Open Graph a Twitter Card
Vytvárajte značky Open Graph a kariet Twitter s náhľadom karty, takže zdieľané odkazy vyzerajú správne všade.
Generátor Robots.txt
Vytvorte platný súbor robots.txt s pravidlami povolenia a zákazu pre jednotlivých agentov a riadkom sitemap.