Тестер robots.txt — разрешено или заблокировано, и точно почему
Файл robots.txt легко написать и трудно осмыслить. Этот инструмент проверки отвечает на единственный вопрос, который важен для данного поискового робота и URL.
Как использовать тестер Robots.txt
- Вставьте содержимое вашего robots.txt.
- Введите полный URL для проверки и имя user-agent (Googlebot, GPTBot, *).
- Нажмите «Проверить этот URL».
- Читайте вердикт и совпадающее правило, которое его породило.
Как это работает
Сопоставление следует стандарту (RFC 9309, как его реализует Google): сначала выбирается группа поискового робота — группа, называющая самый конкретный совпадающий токен user-agent, побеждает группу * — затем внутри этой группы побеждает правило, чей шаблон пути совпадает с путём URL и является самым длинным; при равенстве Allow побеждает Disallow. Шаблоны поддерживают * как подстановочный знак и завершающий $ как якорь конца. Пустой Disallow ни с чем не совпадает, поэтому одного 'Disallow:' достаточно, чтобы разрешить всё.
Часто задаваемые вопросы
Бесплатен ли этот тестер?
Да — полностью бесплатно, без регистрации.
Каким правилам сопоставления он следует?
RFC 9309 / реализация Google: самая конкретная группа агентов, самое длинное совпадающее правило, Allow побеждает при равенстве, поддержка шаблонов * и $.
Мой URL заблокирован здесь, но проиндексирован в Google — почему?
Robots блокирует сканирование, а не индексирование. Заблокированная страница всё ещё может быть проиндексирована по ссылкам и показана без описания.
Получает ли он мой действующий robots.txt?
Нет — вставьте содержимое. Браузеры не могут получать файлы произвольных сайтов (CORS), а вставка также позволяет вам протестировать черновик перед его публикацией.
Загружается ли что-нибудь?
Нет. Тестирование выполняется в вашем браузере.