Генератор на Robots.txt - Правила за обхождащи роботи без синтактичните капани
Един грешен ред в robots.txt може да скрие цял сайт от Google - или изобщо да не успее да скрие нищо. Изградете го тук, с предварителни настройки за често срещаните случаи и проверки на изхода.
Как да използвате генератора на Robots.txt
- Изберете предварителна настройка или започнете от „Разреши всичко“ и персонализирайте.
- Добавете група за конкретен обхождач (например GPTBot) със собствените му правила.
- Избройте пътища за забраняване и разрешаване, по един на ред - пътищата започват с /.
- Добавете URL на картата на сайта си и щракнете върху Генерирай.
- Преминете през бележките за разумна проверка, след това поставете файла на yourdomain.com/robots.txt.
Как работи
Файл robots.txt е набор от групи: всяка група назовава един или повече user-agent-и (обхождачи), последвани от правила за пътища Disallow и Allow, които се прилагат за тях. Празен Disallow означава, че всичко е позволено; Disallow: / блокира целия сайт за този агент. Правилата се съпоставят по префикс, а Google поддържа и Allow за изрязване на изключения от по-широко Disallow. Този генератор издава групи в стандартния формат, добавя реда Sitemap и след това проверява разумно собствения си изход: непознати полета, пътища, които не започват с /, и редове за карти на сайта, които не са пълни URL адреси, всички се маркират. Запомнете, robots.txt е молба, а не ключалка - добре възпитаните обхождащи роботи го спазват, зловредните може да не го направят, затова никога не разчитайте на него за защита на тайни.
Често задавани въпроси
Безплатен ли е този генератор?
Да - напълно безплатно, без регистрация.
Къде отива robots.txt?
В корена на домейна ви: https://yourdomain.com/robots.txt - никъде другаде не се чете.
Блокира ли robots.txt страниците от резултатите от търсене напълно?
Блокира обхождането, не индексирането: блокиран URL все още може да се появи в резултатите (без описание), ако други сайтове се свързват към него. Използвайте таг noindex, за да държите страница напълно извън.
Мога ли да блокирам ИИ обхождачи?
Предварителната настройка за AI добавя групи, забраняващи GPTBot, CCBot и Google-Extended. Съответстващите обхождащи роботи я спазват; тя не може да спре скрепери, които игнорират robots.txt.
Качва ли се нещо?
Не. Генерирането и проверките работят във вашия браузър.
Свързани инструменти за разработчици
Генератор на мета тагове
Генерирайте готов за поставяне HTML мета блок - заглавие, описание, роботи, каноничен - с преглед в стил SERP.
Генератор на Open Graph и Twitter Card
Създавайте Open Graph и Twitter Card тагове с преглед на карта, така че споделените връзки да изглеждат правилно навсякъде.
Генератор на Robots.txt
Създайте валиден robots.txt с правила за разрешаване и забраняване за всеки агент и ред за карта на сайта.