Логотип Loona AutomationLoona Инструменты разработчика
Главная › Инструменты разработчика › Проверка robots.txt

Тестер robots.txt — разрешено или заблокировано, и точно почему

Короче говоря: тестер Robots.txt применяет настоящие правила сопоставления — самая конкретная группа user-agent, затем самое длинное совпадающее правило пути, при равенстве побеждает Allow, — и показывает вердикт плюс точное правило, которое его определило.

Файл robots.txt легко написать и трудно осмыслить. Этот инструмент проверки отвечает на единственный вопрос, который важен для данного поискового робота и URL.

Приватность по замыслу: всё в этом инструменте происходит на 100% в вашем браузере с помощью JavaScript. Ваш ввод никогда не загружается на сервер, никогда не хранится и никогда не виден нам: закройте вкладку, и всё исчезнет.

Как использовать тестер Robots.txt

  1. Вставьте содержимое вашего robots.txt.
  2. Введите полный URL для проверки и имя user-agent (Googlebot, GPTBot, *).
  3. Нажмите «Проверить этот URL».
  4. Читайте вердикт и совпадающее правило, которое его породило.

Как это работает

Сопоставление следует стандарту (RFC 9309, как его реализует Google): сначала выбирается группа поискового робота — группа, называющая самый конкретный совпадающий токен user-agent, побеждает группу * — затем внутри этой группы побеждает правило, чей шаблон пути совпадает с путём URL и является самым длинным; при равенстве Allow побеждает Disallow. Шаблоны поддерживают * как подстановочный знак и завершающий $ как якорь конца. Пустой Disallow ни с чем не совпадает, поэтому одного 'Disallow:' достаточно, чтобы разрешить всё.

Часто задаваемые вопросы

Бесплатен ли этот тестер?

Да — полностью бесплатно, без регистрации.

Каким правилам сопоставления он следует?

RFC 9309 / реализация Google: самая конкретная группа агентов, самое длинное совпадающее правило, Allow побеждает при равенстве, поддержка шаблонов * и $.

Мой URL заблокирован здесь, но проиндексирован в Google — почему?

Robots блокирует сканирование, а не индексирование. Заблокированная страница всё ещё может быть проиндексирована по ссылкам и показана без описания.

Получает ли он мой действующий robots.txt?

Нет — вставьте содержимое. Браузеры не могут получать файлы произвольных сайтов (CORS), а вставка также позволяет вам протестировать черновик перед его публикацией.

Загружается ли что-нибудь?

Нет. Тестирование выполняется в вашем браузере.

Связанные инструменты для разработчиков

Встройте этот инструмент на ваш веб-сайт — бесплатно

Добавьте этот инструмент на ваш собственный веб-сайт или в блог — он полностью бесплатен, не требует регистрации и всегда показывает последнюю версию. Скопируйте код ниже и вставьте его в вашу страницу там, где вы хотите, чтобы инструмент появился. Сохранение небольшой строки авторства “Powered by Loona Automation” под встраиванием помогает сохранять этот инструмент бесплатным — но вы свободны оформить её или удалить; инструмент работает в любом случае.