Лого на Loona AutomationLoona Инструменти за разработчици
Начало › Инструменти за разработчици › Тестер на Robots.txt

Тестер на Robots.txt - Разрешено или блокирано и точно защо

Накратко: Тестерът на Robots.txt прилага истинските правила за съвпадение - най-специфичната група потребителски агенти, след това най-дългото правило за път за съвпадение, като Allow печели при равенства - и показва присъдата плюс точното правило, което я е решило.

Файл robots.txt е лесен за писане и труден за разсъждение. Този тестер отговаря на единствения въпрос, който има значение за даден обхождач и URL.

Лично по дизайн: всичко в този инструмент се случва 100% във вашия браузър с JavaScript. Входът ви никога не се качва на сървър, никога не се съхранява и никога не се вижда от нас - затворете раздела и всичко е изчезнало.

Как да използвате тестера на Robots.txt

  1. Поставете съдържанието на вашия robots.txt.
  2. Въведете пълния URL за тестване и името на user-agent (Googlebot, GPTBot, *).
  3. Щракнете върху Тествай този URL.
  4. Прочетете присъдата и правилото за съвпадение, което я е произвело.

Как работи

Съответствието следва стандарта (RFC 9309, както го прилага Google): първо се избира групата на обхождача - групата, назоваваща най-специфичния съвпадащ токен на user-agent, печели над групата * - след това в тази група печели правилото, чийто модел на пътя съвпада с пътя на URL и е най-дълъг; при равенство Allow побеждава Disallow. Моделите поддържат * като заместващ символ и завършващ $ като котва за край. Празен Disallow не съвпада с нищо, затова 'Disallow:' сам позволява всичко.

Често задавани въпроси

Безплатен ли е този тестер?

Да - напълно безплатно, без регистрация.

Кои правила за съвпадение следва?

RFC 9309 / реализацията на Google: най-специфичната група агенти, правило за най-дълго съвпадение, Allow печели при равенства, поддръжка на шаблони * и $.

Моят URL е блокиран тук, но е индексиран в Google - защо?

Robots блокира обхождането, а не индексирането. Блокирана страница все още може да се индексира от връзки, показана без описание.

Извлича ли моя robots.txt на живо?

Не - поставете съдържанието. Браузърите не могат да извличат файлове от произволни сайтове (CORS), а поставянето ви позволява и да тествате чернова, преди да я публикувате.

Качва ли се нещо?

Не. Тестването работи във вашия браузър.

Свързани инструменти за разработчици

Вградете този инструмент на уебсайта си — безплатно

Добавете този инструмент към собствения си уебсайт или блог — той е напълно безплатен, не изисква регистрация и винаги показва най-новата версия. Копирайте кода по-долу и го поставете на страницата си, където искате инструментът да се появява. Запазването на малкия ред „Предоставено от Loona Automation“ под вградения елемент помага този инструмент да остане безплатен — но вие сте свободни да го стилизирате или премахнете; инструментът работи и в двата случая.