Testador de Robots.txt - Permitido ou Bloqueado, e Exatamente Porquê
Um ficheiro robots.txt é fácil de escrever e difícil de raciocinar. Este testador responde à única pergunta que importa para um dado crawler e URL.
Como utilizar o Testador de Robots.txt
- Cole o conteúdo do seu robots.txt.
- Introduza o URL completo para testar e o nome do user-agent (Googlebot, GPTBot, *).
- Clique em Testar este URL.
- Leia o veredito e a regra correspondente que o produziu.
Como funciona
A correspondência segue a norma (RFC 9309, tal como o Google a implementa): primeiro é escolhido o grupo do crawler - o grupo que nomeia o token de user-agent correspondente mais específico vence o grupo * - depois, dentro desse grupo, vence a regra cujo padrão de caminho corresponde ao caminho do URL e é mais longo; em caso de empate, Allow vence Disallow. Os padrões suportam * como curinga e um $ final como âncora de fim. Um Disallow vazio não corresponde a nada, razão pela qual 'Disallow:' sozinho permite tudo.
Perguntas Frequentes
Este testador é grátis?
Sim - completamente grátis, sem registo.
Que regras de correspondência segue?
RFC 9309 / implementação do Google: grupo de agentes mais específico, regra correspondente mais longa, Allow vence empates, suporte a padrões * e $.
O meu URL está bloqueado aqui mas indexado no Google - porquê?
Robots bloqueia o rastreamento, não a indexação. Uma página bloqueada pode ainda ser indexada a partir de ligações, mostrada sem descrição.
Vai buscar o meu robots.txt em direto?
Não - cole o conteúdo. Os navegadores não podem ir buscar ficheiros de sites arbitrários (CORS), e colar também lhe permite testar um rascunho antes de o publicar.
Alguma coisa é carregada?
Não. Os testes funcionam no seu navegador.