Логотип Loona AutomationLoona Инструменты разработчика
Главная › Инструменты разработчика › Генератор robots.txt

Генератор robots.txt — правила для сканеров без синтаксических ловушек

Короче говоря: генератор Robots.txt строит действительный robots.txt из предустановок и правил для каждого агента — разрешённые и запрещённые пути для каждого краулера, плюс ваша строка карты сайта — и выполняет проверки вменяемости результата перед его публикацией.

Одна неверная строка в robots.txt может скрыть весь сайт от Google — или вообще ничего не скрыть. Создавайте его здесь, с пресетами для распространённых случаев и проверками вывода.

Приватность по замыслу: всё в этом инструменте происходит на 100% в вашем браузере с помощью JavaScript. Ваш ввод никогда не загружается на сервер, никогда не хранится и никогда не виден нам: закройте вкладку, и всё исчезнет.

Как использовать генератор Robots.txt

  1. Выберите пресет или начните с «Разрешить всё» и настройте под себя.
  2. Добавьте группу для любого конкретного поискового робота (например, GPTBot) с его собственными правилами.
  3. Перечислите пути запрета и разрешения, по одному на строку — пути начинаются с /.
  4. Добавьте URL вашей карты сайта и нажмите «Сгенерировать».
  5. Пройдите по заметкам проверки разумности, а затем разместите файл по адресу yourdomain.com/robots.txt.

Как это работает

Файл robots.txt — это набор групп: каждая группа называет один или несколько user-agent (поисковых роботов), за которыми следуют правила путей Disallow и Allow, применяющиеся к ним. Пустое Disallow означает, что всё разрешено; Disallow: / блокирует весь сайт для этого агента. Правила сопоставляются по префиксу, и Google также поддерживает Allow, чтобы вырезать исключения из более широкого Disallow. Этот генератор выдаёт группы в стандартном формате, добавляет строку Sitemap, а затем проверяет собственный вывод на вменяемость: неизвестные поля, пути, не начинающиеся с /, и строки карты сайта, не являющиеся полными URL, — всё помечается. Помните, что robots.txt — это запрос, а не замок: хорошо воспитанные краулеры подчиняются ему, а вредоносные могут не подчиниться, поэтому никогда не полагайтесь на него для защиты секретов.

Часто задаваемые вопросы

Бесплатен ли этот генератор?

Да — полностью бесплатно, без регистрации.

Куда помещается robots.txt?

В корне вашего домена: https://yourdomain.com/robots.txt — больше нигде не читается.

Блокирует ли robots.txt страницы из результатов поиска полностью?

Он блокирует сканирование, а не индексирование: заблокированный URL всё равно может появляться в результатах (без описания), если на него ссылаются другие сайты. Используйте тег noindex, чтобы полностью исключить страницу.

Могу ли я блокировать поисковых роботов ИИ?

Пресет ИИ добавляет группы, запрещающие GPTBot, CCBot и Google-Extended. Сканеры, соблюдающие правила, его уважают; он не может остановить скрейперы, игнорирующие robots.txt.

Загружается ли что-нибудь?

Нет. Генерация и проверки выполняются в вашем браузере.

Связанные инструменты для разработчиков

Встройте этот инструмент на ваш веб-сайт — бесплатно

Добавьте этот инструмент на ваш собственный веб-сайт или в блог — он полностью бесплатен, не требует регистрации и всегда показывает последнюю версию. Скопируйте код ниже и вставьте его в вашу страницу там, где вы хотите, чтобы инструмент появился. Сохранение небольшой строки авторства “Powered by Loona Automation” под встраиванием помогает сохранять этот инструмент бесплатным — но вы свободны оформить её или удалить; инструмент работает в любом случае.