Logo Loona AutomationLoona Vývojářské nástroje
Domů › Vývojářské nástroje › Generátor Robots.txt

Generátor Robots.txt - Pravidla pro prohledávače bez pastí syntaxe

Stručně: generátor Robots.txt sestavuje platný robots.txt z předvoleb a pravidel pro jednotlivé agenty – povolené a zakázané cesty pro každého procházeče plus váš řádek sitemap – a před vydáním provádí kontroly rozumnosti výsledku.

Jeden špatný řádek v robots.txt může skrýt celý web před Google - nebo neskrýt vůbec nic. Sestavte ho zde, s předvolbami pro běžné případy a kontrolami výstupu.

Soukromé už designem: vše v tomto nástroji probíhá 100% ve vašem prohlížeči pomocí JavaScriptu. Váš vstup se nikdy nenahrává na server, nikdy se neukládá a nikdy ho nevidíme – zavřete kartu a vše je pryč.

Jak používat Generátor Robots.txt

  1. Vyberte předvolbu, nebo začněte od Povolit vše a přizpůsobte.
  2. Přidejte skupinu pro jakéhokoli konkrétního prohledávače (například GPTBot) s jeho vlastními pravidly.
  3. Vypište cesty zakázat a povolit, jednu na řádek - cesty začínají na /.
  4. Přidejte URL své sitemap a klikněte na Generovat.
  5. Projděte si poznámky ke kontrole rozumnosti a poté soubor umístěte na yourdomain.com/robots.txt.

Jak to funguje

Soubor robots.txt je sada skupin: každá skupina pojmenuje jednoho nebo více user-agentů (prohledávače) a po nich následují pravidla cest Disallow a Allow, která se na ně vztahují. Prázdné Disallow znamená, že je povoleno vše; Disallow: / zablokuje celý web pro toho agenta. Pravidla se porovnávají podle předpony a Google také podporuje Allow k vyříznutí výjimek z širšího Disallow. Tento generátor vydává skupiny ve standardním formátu, připojí řádek Sitemap a pak svůj vlastní výstup zkontroluje: neznámá pole, cesty, které nezačínají /, a řádky sitemap, které nejsou úplné URL, jsou všechny označeny. Pamatujte, robots.txt je žádost, ne zámek – dobře vychovaní procházeči ji poslouchají, škodliví nemusí, takže se na ni nikdy nespoléhejte při ochraně tajemství.

Často kladené otázky

Je tento generátor zdarma?

Ano – zcela zdarma, bez registrace.

Kam patří robots.txt?

V kořeni vaší domény: https://yourdomain.com/robots.txt - nikde jinde se nečte.

Blokuje robots.txt stránky z výsledků vyhledávání úplně?

Blokuje procházení, ne indexování: blokovaná URL se přesto může objevit ve výsledcích (bez popisu), pokud na ni odkazují jiné weby. Pomocí značky noindex stránku zcela vynecháte.

Mohu blokovat prohledávače AI?

Předvolba AI přidává skupiny zakazující GPTBot, CCBot a Google-Extended. Vyhovující prohledávače ji ctí; nemůže zastavit scrapery, které robots.txt ignorují.

Nahrává se něco?

Ne. Generování a kontroly běží ve vašem prohlížeči.

Související vývojářské nástroje

Vložte tento nástroj na svůj web — zdarma

Přidejte tento nástroj na svůj vlastní web nebo blog — je zcela zdarma, nevyžaduje registraci a vždy zobrazuje nejnovější verzi. Zkopírujte níže uvedený kód a vložte ho na svou stránku tam, kde chcete, aby se nástroj zobrazil. Ponechání malého řádku s poděkováním “Powered by Loona Automation” pod vloženým nástrojem pomáhá udržet tento nástroj zdarma — ale můžete ho upravit stylem nebo odstranit; nástroj funguje tak jako tak.