Логотип Loona AutomationLoona Інструменти для розробників
Головна › Інструменти для розробників › Генератор Robots.txt

Генератор Robots.txt — правила для сканерів без синтаксичних пасток

Коротко: генератор Robots.txt будує дійсний robots.txt із пресетів і правил за агентами — шляхи дозволу й заборони за сканером, плюс ваш рядок карти сайту — і запускає тверези перевірки результату, перш ніж ви його відправите.

Один неправильний рядок у robots.txt може сховати цілий сайт від Google — або не сховати взагалі нічого. Побудуйте його тут, із пресетами для поширених випадків і перевірками виводу.

Приватно за задумом: усе в цьому інструменті відбувається на 100% у вашому браузері за допомогою JavaScript. Ваші вхідні дані ніколи не передаються на сервер, ніколи не зберігаються й ніколи не бачаться нами: закрийте вкладку — і все зникло.

Як користуватися генератором Robots.txt

  1. Виберіть пресет або почніть із «Дозволити все» й налаштуйте.
  2. Додайте групу для будь-якого конкретного сканера (наприклад, GPTBot) із власними правилами.
  3. Перелічіть шляхи заборони й дозволу, по одному на рядок, — шляхи починаються з /.
  4. Додайте URL вашої карти сайту й натисніть «Згенерувати».
  5. Пройдіться нотатками здорової перевірки, потім розмістіть файл за адресою yourdomain.com/robots.txt.

Як це працює

Файл robots.txt — це набір груп: кожна група називає один або кілька user-agent (сканерів), після яких ідуть правила шляхів Disallow і Allow, що застосовуються до них. Порожній Disallow означає, що дозволено все; Disallow: / блокує весь сайт для цього агента. Правила зіставляються за префіксом, а Google також підтримує Allow, щоб вирізати винятки з ширшого Disallow. Цей генератор видає групи у стандартному форматі, додає рядок Sitemap, а потім тверезо перевіряє власний вивід: невідомі поля, шляхи, які не починаються з /, і рядки карт сайтів, які не є повними URL-адресами, — усе позначається. Пам’ятайте: robots.txt — це запит, а не замок: добре виховані сканери підкоряються йому, зловмисні можуть ні, тож ніколи не покладайтеся на нього для захисту секретів.

Часті запитання

Чи цей генератор безкоштовний?

Так — цілком безкоштовно, без реєстрації.

Куди йде robots.txt?

У корені вашого домену: https://yourdomain.com/robots.txt — ніде більше не читається.

Чи блокує robots.txt сторінки з результатів пошуку повністю?

Він блокує сканування, а не індексування: заблокований URL досі може з’являтися в результатах (без опису), якщо інші сайти посилаються на нього. Використовуйте тег noindex, щоб повністю прибрати сторінку.

Чи можу я заблокувати сканери ШІ?

Пресет ШІ додає групи, що забороняють GPTBot, CCBot і Google-Extended. Сумлінні сканери дотримуються його; він не може зупинити збирачі, які ігнорують robots.txt.

Чи завантажується щось?

Ні. Генерація й перевірки виконуються у вашому браузері.

Пов’язані інструменти для розробників

Вбудуйте цей інструмент на свій вебсайт — безкоштовно

Додайте цей інструмент на власний вебсайт або блог — він повністю безкоштовний, не потребує реєстрації й завжди показує останню версію. Скопіюйте код нижче та вставте його на свою сторінку туди, де має з’явитися інструмент. Збереження маленького рядка авторства “Powered by Loona Automation” під вбудованим елементом допомагає зберігати цей інструмент безкоштовним — але ви можете стилізувати або прибрати його; інструмент працює в будь-якому разі.