Тестер Robots.txt — дозволено чи заблоковано, і точно чому
Файл robots.txt легко написати й важко осмислити. Цей тестер відповідає на єдине запитання, яке має значення для певного сканера та URL.
Як користуватися тестером Robots.txt
- Вставте вміст свого robots.txt.
- Введіть повний URL для перевірки та назву user-agent (Googlebot, GPTBot, *).
- Натисніть «Перевірити цей URL».
- Читайте вердикт і відповідне правило, яке його створило.
Як це працює
Зіставлення відбувається за стандартом (RFC 9309, як його реалізує Google): спочатку обирається група сканера — група, що називає найконкретніший відповідний токен user-agent, перемагає групу *; потім усередині цієї групи перемагає правило, чий шаблон шляху відповідає шляху URL-адреси й є найдовшим; за рівності Allow перемагає Disallow. Шаблони підтримують * як символ підстановки та завершальний $ як якір кінця. Порожній Disallow не відповідає нічому, тому саме 'Disallow:' саме по собі дозволяє все.
Часті запитання
Чи цей тестер безкоштовний?
Так — цілком безкоштовно, без реєстрації.
Яких правил зіставлення він дотримується?
RFC 9309 / реалізація Google: найконкретніша група агентів, найдовше відповідне правило, Allow перемагає за рівності, підтримка шаблонів * і $.
Мою URL-адресу тут заблоковано, але проіндексовано в Google — чому?
Robots блокує сканування, а не індексування. Заблокована сторінка все одно може бути проіндексована з посилань і показана без опису.
Чи отримує він мій живий robots.txt?
Ні — вставте вміст. Браузери не можуть отримувати файли довільних сайтів (CORS), а вставлення також дає змогу перевірити чернетку перед публікацією.
Чи завантажується щось?
Ні. Тестування виконується у вашому браузері.