Тестер на Robots.txt - Разрешено или блокирано и точно защо
Файл robots.txt е лесен за писане и труден за разсъждение. Този тестер отговаря на единствения въпрос, който има значение за даден обхождач и URL.
Как да използвате тестера на Robots.txt
- Поставете съдържанието на вашия robots.txt.
- Въведете пълния URL за тестване и името на user-agent (Googlebot, GPTBot, *).
- Щракнете върху Тествай този URL.
- Прочетете присъдата и правилото за съвпадение, което я е произвело.
Как работи
Съответствието следва стандарта (RFC 9309, както го прилага Google): първо се избира групата на обхождача - групата, назоваваща най-специфичния съвпадащ токен на user-agent, печели над групата * - след това в тази група печели правилото, чийто модел на пътя съвпада с пътя на URL и е най-дълъг; при равенство Allow побеждава Disallow. Моделите поддържат * като заместващ символ и завършващ $ като котва за край. Празен Disallow не съвпада с нищо, затова 'Disallow:' сам позволява всичко.
Често задавани въпроси
Безплатен ли е този тестер?
Да - напълно безплатно, без регистрация.
Кои правила за съвпадение следва?
RFC 9309 / реализацията на Google: най-специфичната група агенти, правило за най-дълго съвпадение, Allow печели при равенства, поддръжка на шаблони * и $.
Моят URL е блокиран тук, но е индексиран в Google - защо?
Robots блокира обхождането, а не индексирането. Блокирана страница все още може да се индексира от връзки, показана без описание.
Извлича ли моя robots.txt на живо?
Не - поставете съдържанието. Браузърите не могат да извличат файлове от произволни сайтове (CORS), а поставянето ви позволява и да тествате чернова, преди да я публикувате.
Качва ли се нещо?
Не. Тестването работи във вашия браузър.