Логотип Loona AutomationLoona Інструменти для розробників
Головна › Інструменти для розробників › Тестер Robots.txt

Тестер Robots.txt — дозволено чи заблоковано, і точно чому

Коротко: тестер Robots.txt застосовує справжні правила зіставлення — найконкретніша група user-agent, потім найдовше відповідне правило шляху, із Allow, що перемагає за рівності, — і показує вердикт плюс точне правило, яке його вирішило.

Файл robots.txt легко написати й важко осмислити. Цей тестер відповідає на єдине запитання, яке має значення для певного сканера та URL.

Приватно за задумом: усе в цьому інструменті відбувається на 100% у вашому браузері за допомогою JavaScript. Ваші вхідні дані ніколи не передаються на сервер, ніколи не зберігаються й ніколи не бачаться нами: закрийте вкладку — і все зникло.

Як користуватися тестером Robots.txt

  1. Вставте вміст свого robots.txt.
  2. Введіть повний URL для перевірки та назву user-agent (Googlebot, GPTBot, *).
  3. Натисніть «Перевірити цей URL».
  4. Читайте вердикт і відповідне правило, яке його створило.

Як це працює

Зіставлення відбувається за стандартом (RFC 9309, як його реалізує Google): спочатку обирається група сканера — група, що називає найконкретніший відповідний токен user-agent, перемагає групу *; потім усередині цієї групи перемагає правило, чий шаблон шляху відповідає шляху URL-адреси й є найдовшим; за рівності Allow перемагає Disallow. Шаблони підтримують * як символ підстановки та завершальний $ як якір кінця. Порожній Disallow не відповідає нічому, тому саме 'Disallow:' саме по собі дозволяє все.

Часті запитання

Чи цей тестер безкоштовний?

Так — цілком безкоштовно, без реєстрації.

Яких правил зіставлення він дотримується?

RFC 9309 / реалізація Google: найконкретніша група агентів, найдовше відповідне правило, Allow перемагає за рівності, підтримка шаблонів * і $.

Мою URL-адресу тут заблоковано, але проіндексовано в Google — чому?

Robots блокує сканування, а не індексування. Заблокована сторінка все одно може бути проіндексована з посилань і показана без опису.

Чи отримує він мій живий robots.txt?

Ні — вставте вміст. Браузери не можуть отримувати файли довільних сайтів (CORS), а вставлення також дає змогу перевірити чернетку перед публікацією.

Чи завантажується щось?

Ні. Тестування виконується у вашому браузері.

Пов’язані інструменти для розробників

Вбудуйте цей інструмент на свій вебсайт — безкоштовно

Додайте цей інструмент на власний вебсайт або блог — він повністю безкоштовний, не потребує реєстрації й завжди показує останню версію. Скопіюйте код нижче та вставте його на свою сторінку туди, де має з’явитися інструмент. Збереження маленького рядка авторства “Powered by Loona Automation” під вбудованим елементом допомагає зберігати цей інструмент безкоштовним — але ви можете стилізувати або прибрати його; інструмент працює в будь-якому разі.