Генератор robots.txt — правила для сканеров без синтаксических ловушек
Одна неверная строка в robots.txt может скрыть весь сайт от Google — или вообще ничего не скрыть. Создавайте его здесь, с пресетами для распространённых случаев и проверками вывода.
Как использовать генератор Robots.txt
- Выберите пресет или начните с «Разрешить всё» и настройте под себя.
- Добавьте группу для любого конкретного поискового робота (например, GPTBot) с его собственными правилами.
- Перечислите пути запрета и разрешения, по одному на строку — пути начинаются с /.
- Добавьте URL вашей карты сайта и нажмите «Сгенерировать».
- Пройдите по заметкам проверки разумности, а затем разместите файл по адресу yourdomain.com/robots.txt.
Как это работает
Файл robots.txt — это набор групп: каждая группа называет один или несколько user-agent (поисковых роботов), за которыми следуют правила путей Disallow и Allow, применяющиеся к ним. Пустое Disallow означает, что всё разрешено; Disallow: / блокирует весь сайт для этого агента. Правила сопоставляются по префиксу, и Google также поддерживает Allow, чтобы вырезать исключения из более широкого Disallow. Этот генератор выдаёт группы в стандартном формате, добавляет строку Sitemap, а затем проверяет собственный вывод на вменяемость: неизвестные поля, пути, не начинающиеся с /, и строки карты сайта, не являющиеся полными URL, — всё помечается. Помните, что robots.txt — это запрос, а не замок: хорошо воспитанные краулеры подчиняются ему, а вредоносные могут не подчиниться, поэтому никогда не полагайтесь на него для защиты секретов.
Часто задаваемые вопросы
Бесплатен ли этот генератор?
Да — полностью бесплатно, без регистрации.
Куда помещается robots.txt?
В корне вашего домена: https://yourdomain.com/robots.txt — больше нигде не читается.
Блокирует ли robots.txt страницы из результатов поиска полностью?
Он блокирует сканирование, а не индексирование: заблокированный URL всё равно может появляться в результатах (без описания), если на него ссылаются другие сайты. Используйте тег noindex, чтобы полностью исключить страницу.
Могу ли я блокировать поисковых роботов ИИ?
Пресет ИИ добавляет группы, запрещающие GPTBot, CCBot и Google-Extended. Сканеры, соблюдающие правила, его уважают; он не может остановить скрейперы, игнорирующие robots.txt.
Загружается ли что-нибудь?
Нет. Генерация и проверки выполняются в вашем браузере.
Связанные инструменты для разработчиков
Генератор метатегов
Сгенерируйте готовый к вставке метаблок HTML — заголовок, описание, robots, canonical — с предпросмотром в стиле выдачи.
Генератор Open Graph & Twitter Card
Создавайте теги Open Graph и Twitter Card с предпросмотром карточки, чтобы поделённые ссылки выглядели правильно везде.
Генератор robots.txt
Создайте действительный robots.txt с правилами разрешения и запрета для каждого агента и строкой карты сайта.