Generador de robots.txt - Reglas para rastreadores sin las trampas de sintaxis
Una línea equivocada en robots.txt puede ocultar un sitio entero de Google, o no ocultar nada en absoluto. Créalo aquí, con ajustes predefinidos para los casos comunes y comprobaciones en la salida.
Cómo usar el Generador de robots.txt
- Elige un ajuste predefinido, o empieza desde Permitir todo y personaliza.
- Añade un grupo para cualquier rastreador específico (por ejemplo GPTBot) con sus propias reglas.
- Enumera las rutas de denegar y permitir, una por línea: las rutas empiezan con /.
- Añade la URL de tu sitemap y haz clic en Generar.
- Revisa las notas de comprobación de cordura y luego coloca el archivo en yourdomain.com/robots.txt.
Cómo funciona
Un archivo robots.txt es un conjunto de grupos: cada grupo nombra uno o más user-agents (rastreadores) seguidos de reglas de ruta Disallow y Allow que se les aplican. Un Disallow vacío significa que todo está permitido; Disallow: / bloquea todo el sitio para ese agente. Las reglas se emparejan por prefijo, y Google también admite Allow para tallar excepciones de un Disallow más amplio. Este generador emite grupos en el formato estándar, añade la línea Sitemap y luego comprueba la cordura de su propia salida: los campos desconocidos, las rutas que no empiezan con / y las líneas de sitemap que no son URL completas se marcan todos. Recuerda que robots.txt es una petición, no un candado: los rastreadores bien educados lo obedecen, los maliciosos pueden no hacerlo, así que nunca confíes en él para proteger secretos.
Preguntas frecuentes
¿Este generador es gratuito?
Sí: completamente gratis, sin registro.
¿Adónde va robots.txt?
En la raíz de tu dominio: https://yourdomain.com/robots.txt: no se lee en ningún otro sitio.
¿Robots.txt bloquea las páginas de los resultados de búsqueda por completo?
Bloquea el rastreo, no la indexación: una URL bloqueada aún puede aparecer en los resultados (sin descripción) si otros sitios enlazan a ella. Usa una etiqueta noindex para mantener una página completamente fuera.
¿Puedo bloquear los rastreadores de IA?
El ajuste de IA añade grupos que deniegan GPTBot, CCBot y Google-Extended. Los rastreadores que cumplen lo respetan; no puede detener a los raspadores que ignoran robots.txt.
¿Se sube algo?
No. La generación y las comprobaciones se ejecutan en tu navegador.
Herramientas para desarrolladores relacionadas
Generador de metaetiquetas
Genera un bloque meta HTML listo para pegar (título, descripción, robots, canónica) con una vista previa estilo SERP.
Generador de Open Graph y Twitter Cards
Crea etiquetas Open Graph y Twitter Card con una vista previa de tarjeta, para que los enlaces compartidos se vean bien en todas partes.
Generador de robots.txt
Crea un robots.txt válido con reglas de permitir y denegar por agente y una línea de sitemap.