Logótipo Loona AutomationLoona Ferramentas de Programação
Início › Ferramentas de Programação › Testador de Robots.txt

Testador de Robots.txt - Permitido ou Bloqueado, e Exatamente Porquê

Em resumo: o Testador de Robots.txt aplica as regras de correspondência reais - o grupo de user-agent mais específico, depois a regra de caminho correspondente mais longa, com Allow a vencer empates - e mostra o veredito mais a regra exata que o decidiu.

Um ficheiro robots.txt é fácil de escrever e difícil de raciocinar. Este testador responde à única pergunta que importa para um dado crawler e URL.

Privado por conceção: tudo nesta ferramenta acontece 100% no seu navegador com JavaScript. A sua entrada nunca é carregada para um servidor, nunca guardada e nunca vista por nós - feche o separador e tudo desaparece.

Como utilizar o Testador de Robots.txt

  1. Cole o conteúdo do seu robots.txt.
  2. Introduza o URL completo para testar e o nome do user-agent (Googlebot, GPTBot, *).
  3. Clique em Testar este URL.
  4. Leia o veredito e a regra correspondente que o produziu.

Como funciona

A correspondência segue a norma (RFC 9309, tal como o Google a implementa): primeiro é escolhido o grupo do crawler - o grupo que nomeia o token de user-agent correspondente mais específico vence o grupo * - depois, dentro desse grupo, vence a regra cujo padrão de caminho corresponde ao caminho do URL e é mais longo; em caso de empate, Allow vence Disallow. Os padrões suportam * como curinga e um $ final como âncora de fim. Um Disallow vazio não corresponde a nada, razão pela qual 'Disallow:' sozinho permite tudo.

Perguntas Frequentes

Este testador é grátis?

Sim - completamente grátis, sem registo.

Que regras de correspondência segue?

RFC 9309 / implementação do Google: grupo de agentes mais específico, regra correspondente mais longa, Allow vence empates, suporte a padrões * e $.

O meu URL está bloqueado aqui mas indexado no Google - porquê?

Robots bloqueia o rastreamento, não a indexação. Uma página bloqueada pode ainda ser indexada a partir de ligações, mostrada sem descrição.

Vai buscar o meu robots.txt em direto?

Não - cole o conteúdo. Os navegadores não podem ir buscar ficheiros de sites arbitrários (CORS), e colar também lhe permite testar um rascunho antes de o publicar.

Alguma coisa é carregada?

Não. Os testes funcionam no seu navegador.

Ferramentas de Programador Relacionadas

Incorpore esta ferramenta no seu site — grátis

Adicione esta ferramenta ao seu próprio site ou blogue — é completamente gratuita, não precisa de registo e mostra sempre a versão mais recente. Copie o código abaixo e cole-o na sua página onde quer que a ferramenta apareça. Manter a pequena linha de crédito “Powered by Loona Automation” sob a incorporação ajuda a manter esta ferramenta gratuita — mas é livre de a estilizar ou remover; a ferramenta funciona de qualquer forma.