Генератор Robots.txt — правила для сканерів без синтаксичних пасток
Один неправильний рядок у robots.txt може сховати цілий сайт від Google — або не сховати взагалі нічого. Побудуйте його тут, із пресетами для поширених випадків і перевірками виводу.
Як користуватися генератором Robots.txt
- Виберіть пресет або почніть із «Дозволити все» й налаштуйте.
- Додайте групу для будь-якого конкретного сканера (наприклад, GPTBot) із власними правилами.
- Перелічіть шляхи заборони й дозволу, по одному на рядок, — шляхи починаються з /.
- Додайте URL вашої карти сайту й натисніть «Згенерувати».
- Пройдіться нотатками здорової перевірки, потім розмістіть файл за адресою yourdomain.com/robots.txt.
Як це працює
Файл robots.txt — це набір груп: кожна група називає один або кілька user-agent (сканерів), після яких ідуть правила шляхів Disallow і Allow, що застосовуються до них. Порожній Disallow означає, що дозволено все; Disallow: / блокує весь сайт для цього агента. Правила зіставляються за префіксом, а Google також підтримує Allow, щоб вирізати винятки з ширшого Disallow. Цей генератор видає групи у стандартному форматі, додає рядок Sitemap, а потім тверезо перевіряє власний вивід: невідомі поля, шляхи, які не починаються з /, і рядки карт сайтів, які не є повними URL-адресами, — усе позначається. Пам’ятайте: robots.txt — це запит, а не замок: добре виховані сканери підкоряються йому, зловмисні можуть ні, тож ніколи не покладайтеся на нього для захисту секретів.
Часті запитання
Чи цей генератор безкоштовний?
Так — цілком безкоштовно, без реєстрації.
Куди йде robots.txt?
У корені вашого домену: https://yourdomain.com/robots.txt — ніде більше не читається.
Чи блокує robots.txt сторінки з результатів пошуку повністю?
Він блокує сканування, а не індексування: заблокований URL досі може з’являтися в результатах (без опису), якщо інші сайти посилаються на нього. Використовуйте тег noindex, щоб повністю прибрати сторінку.
Чи можу я заблокувати сканери ШІ?
Пресет ШІ додає групи, що забороняють GPTBot, CCBot і Google-Extended. Сумлінні сканери дотримуються його; він не може зупинити збирачі, які ігнорують robots.txt.
Чи завантажується щось?
Ні. Генерація й перевірки виконуються у вашому браузері.
Пов’язані інструменти для розробників
Генератор метатегів
Генеруйте готовий до вставлення метаблок HTML — заголовок, опис, robots, canonical — із попереднім переглядом у стилі SERP.
Генератор Open Graph і Twitter Card
Створюйте теги Open Graph і Twitter Card із попереднім переглядом картки, щоб спільні посилання виглядали правильно всюди.
Генератор Robots.txt
Створюйте дійсний robots.txt із правилами дозволу й заборони для кожного агента та рядком карти сайту.