Gerador de Robots.txt - Regras de Rastreadores Sem as Armadilhas de Sintaxe
Uma linha errada no robots.txt pode esconder um site inteiro do Google - ou não esconder nada de todo. Construa-o aqui, com predefinições para os casos comuns e verificações no resultado.
Como utilizar o Gerador de Robots.txt
- Escolha uma predefinição, ou comece de Permitir tudo e personalize.
- Adicione um grupo para qualquer crawler específico (por exemplo, GPTBot) com as suas próprias regras.
- Liste caminhos disallow e allow, um por linha - os caminhos começam com /.
- Adicione o URL do seu sitemap e clique em Gerar.
- Percorra as notas de verificação de sanidade e depois coloque o ficheiro em yourdomain.com/robots.txt.
Como funciona
Um ficheiro robots.txt é um conjunto de grupos: cada grupo nomeia um ou mais user-agents (crawlers), seguidos de regras de caminho Disallow e Allow que se lhes aplicam. Um Disallow vazio significa que tudo é permitido; Disallow: / bloqueia todo o site para esse agente. As regras são correspondidas por prefixo, e o Google também suporta Allow para abrir exceções a um Disallow mais amplo. Este gerador emite grupos no formato padrão, acrescenta a linha Sitemap, e depois verifica a sanidade da sua própria saída: campos desconhecidos, caminhos que não começam com /, e linhas de sitemap que não são URLs completos são todos assinalados. Lembre-se de que robots.txt é um pedido, não um cadeado - rastreadores bem comportados obedecem-lhe, os maliciosos podem não, pelo que nunca confie nele para proteger segredos.
Perguntas Frequentes
Este gerador é grátis?
Sim - completamente grátis, sem registo.
Para onde vai o robots.txt?
Na raiz do seu domínio: https://yourdomain.com/robots.txt - nenhum outro local é lido.
O robots.txt bloqueia páginas dos resultados de pesquisa completamente?
Bloqueia o rastreio, não a indexação: um URL bloqueado pode ainda aparecer nos resultados (sem descrição) se outros sites ligarem a ele. Utilize uma tag noindex para manter uma página totalmente fora.
Posso bloquear crawlers de IA?
A predefinição AI acrescenta grupos que proíbem GPTBot, CCBot e Google-Extended. Rastreadores conformes respeitam-na; não pode parar raspadores que ignoram o robots.txt.
Alguma coisa é carregada?
Não. A geração e as verificações funcionam no seu navegador.
Ferramentas de Programador Relacionadas
Gerador de Meta Tags
Gere um bloco meta HTML pronto para colar - título, descrição, robots, canónico - com uma pré-visualização em estilo SERP.
Gerador Open Graph e Twitter Card
Construa tags Open Graph e Twitter Card com uma pré-visualização de cartão, para que as ligações partilhadas fiquem corretas em todo o lado.
Gerador de Robots.txt
Construa um robots.txt válido com regras allow e disallow por agente e uma linha de sitemap.