Logótipo Loona AutomationLoona Ferramentas de Programação
Início › Ferramentas de Programação › Gerador de Robots.txt

Gerador de Robots.txt - Regras de Rastreadores Sem as Armadilhas de Sintaxe

Em resumo: o Gerador de Robots.txt constrói um robots.txt válido a partir de predefinições e regras por agente - caminhos permitidos e proibidos por rastreador, mais a sua linha de sitemap - e executa verificações de sanidade no resultado antes de o enviar.

Uma linha errada no robots.txt pode esconder um site inteiro do Google - ou não esconder nada de todo. Construa-o aqui, com predefinições para os casos comuns e verificações no resultado.

Privado por conceção: tudo nesta ferramenta acontece 100% no seu navegador com JavaScript. A sua entrada nunca é carregada para um servidor, nunca guardada e nunca vista por nós - feche o separador e tudo desaparece.

Como utilizar o Gerador de Robots.txt

  1. Escolha uma predefinição, ou comece de Permitir tudo e personalize.
  2. Adicione um grupo para qualquer crawler específico (por exemplo, GPTBot) com as suas próprias regras.
  3. Liste caminhos disallow e allow, um por linha - os caminhos começam com /.
  4. Adicione o URL do seu sitemap e clique em Gerar.
  5. Percorra as notas de verificação de sanidade e depois coloque o ficheiro em yourdomain.com/robots.txt.

Como funciona

Um ficheiro robots.txt é um conjunto de grupos: cada grupo nomeia um ou mais user-agents (crawlers), seguidos de regras de caminho Disallow e Allow que se lhes aplicam. Um Disallow vazio significa que tudo é permitido; Disallow: / bloqueia todo o site para esse agente. As regras são correspondidas por prefixo, e o Google também suporta Allow para abrir exceções a um Disallow mais amplo. Este gerador emite grupos no formato padrão, acrescenta a linha Sitemap, e depois verifica a sanidade da sua própria saída: campos desconhecidos, caminhos que não começam com /, e linhas de sitemap que não são URLs completos são todos assinalados. Lembre-se de que robots.txt é um pedido, não um cadeado - rastreadores bem comportados obedecem-lhe, os maliciosos podem não, pelo que nunca confie nele para proteger segredos.

Perguntas Frequentes

Este gerador é grátis?

Sim - completamente grátis, sem registo.

Para onde vai o robots.txt?

Na raiz do seu domínio: https://yourdomain.com/robots.txt - nenhum outro local é lido.

O robots.txt bloqueia páginas dos resultados de pesquisa completamente?

Bloqueia o rastreio, não a indexação: um URL bloqueado pode ainda aparecer nos resultados (sem descrição) se outros sites ligarem a ele. Utilize uma tag noindex para manter uma página totalmente fora.

Posso bloquear crawlers de IA?

A predefinição AI acrescenta grupos que proíbem GPTBot, CCBot e Google-Extended. Rastreadores conformes respeitam-na; não pode parar raspadores que ignoram o robots.txt.

Alguma coisa é carregada?

Não. A geração e as verificações funcionam no seu navegador.

Ferramentas de Programador Relacionadas

Incorpore esta ferramenta no seu site — grátis

Adicione esta ferramenta ao seu próprio site ou blogue — é completamente gratuita, não precisa de registo e mostra sempre a versão mais recente. Copie o código abaixo e cole-o na sua página onde quer que a ferramenta apareça. Manter a pequena linha de crédito “Powered by Loona Automation” sob a incorporação ajuda a manter esta ferramenta gratuita — mas é livre de a estilizar ou remover; a ferramenta funciona de qualquer forma.