Generátor Robots.txt - Pravidla pro prohledávače bez pastí syntaxe
Jeden špatný řádek v robots.txt může skrýt celý web před Google - nebo neskrýt vůbec nic. Sestavte ho zde, s předvolbami pro běžné případy a kontrolami výstupu.
Jak používat Generátor Robots.txt
- Vyberte předvolbu, nebo začněte od Povolit vše a přizpůsobte.
- Přidejte skupinu pro jakéhokoli konkrétního prohledávače (například GPTBot) s jeho vlastními pravidly.
- Vypište cesty zakázat a povolit, jednu na řádek - cesty začínají na /.
- Přidejte URL své sitemap a klikněte na Generovat.
- Projděte si poznámky ke kontrole rozumnosti a poté soubor umístěte na yourdomain.com/robots.txt.
Jak to funguje
Soubor robots.txt je sada skupin: každá skupina pojmenuje jednoho nebo více user-agentů (prohledávače) a po nich následují pravidla cest Disallow a Allow, která se na ně vztahují. Prázdné Disallow znamená, že je povoleno vše; Disallow: / zablokuje celý web pro toho agenta. Pravidla se porovnávají podle předpony a Google také podporuje Allow k vyříznutí výjimek z širšího Disallow. Tento generátor vydává skupiny ve standardním formátu, připojí řádek Sitemap a pak svůj vlastní výstup zkontroluje: neznámá pole, cesty, které nezačínají /, a řádky sitemap, které nejsou úplné URL, jsou všechny označeny. Pamatujte, robots.txt je žádost, ne zámek – dobře vychovaní procházeči ji poslouchají, škodliví nemusí, takže se na ni nikdy nespoléhejte při ochraně tajemství.
Často kladené otázky
Je tento generátor zdarma?
Ano – zcela zdarma, bez registrace.
Kam patří robots.txt?
V kořeni vaší domény: https://yourdomain.com/robots.txt - nikde jinde se nečte.
Blokuje robots.txt stránky z výsledků vyhledávání úplně?
Blokuje procházení, ne indexování: blokovaná URL se přesto může objevit ve výsledcích (bez popisu), pokud na ni odkazují jiné weby. Pomocí značky noindex stránku zcela vynecháte.
Mohu blokovat prohledávače AI?
Předvolba AI přidává skupiny zakazující GPTBot, CCBot a Google-Extended. Vyhovující prohledávače ji ctí; nemůže zastavit scrapery, které robots.txt ignorují.
Nahrává se něco?
Ne. Generování a kontroly běží ve vašem prohlížeči.
Související vývojářské nástroje
Generátor meta značek
Generujte meta blok HTML připravený k vložení - titulek, popis, robots, canonical - s náhledem ve stylu SERP.
Generátor Open Graph a Twitter Card
Vytvářejte značky Open Graph a Twitter Card s náhledem karty, aby sdílené odkazy vypadaly správně všude.
Generátor Robots.txt
Vytvořte platný robots.txt s pravidly povolit a zakázat pro jednotlivé agenty a řádkem sitemap.