Logotipo de Loona AutomationLoona Herramientas para desarrolladores
Inicio › Herramientas para desarrolladores › Generador de robots.txt

Generador de robots.txt - Reglas para rastreadores sin las trampas de sintaxis

En resumen: el Generador de robots.txt construye un robots.txt válido desde ajustes predefinidos y reglas por agente (rutas permitidas y denegadas por rastreador, más tu línea de sitemap) y ejecuta comprobaciones de cordura en el resultado antes de que lo envíes.

Una línea equivocada en robots.txt puede ocultar un sitio entero de Google, o no ocultar nada en absoluto. Créalo aquí, con ajustes predefinidos para los casos comunes y comprobaciones en la salida.

Privado por diseño: todo en esta herramienta sucede 100% en tu navegador con JavaScript. Tu entrada nunca se sube a un servidor, nunca se almacena y nunca la vemos nosotros: cierra la pestaña y todo desaparece.

Cómo usar el Generador de robots.txt

  1. Elige un ajuste predefinido, o empieza desde Permitir todo y personaliza.
  2. Añade un grupo para cualquier rastreador específico (por ejemplo GPTBot) con sus propias reglas.
  3. Enumera las rutas de denegar y permitir, una por línea: las rutas empiezan con /.
  4. Añade la URL de tu sitemap y haz clic en Generar.
  5. Revisa las notas de comprobación de cordura y luego coloca el archivo en yourdomain.com/robots.txt.

Cómo funciona

Un archivo robots.txt es un conjunto de grupos: cada grupo nombra uno o más user-agents (rastreadores) seguidos de reglas de ruta Disallow y Allow que se les aplican. Un Disallow vacío significa que todo está permitido; Disallow: / bloquea todo el sitio para ese agente. Las reglas se emparejan por prefijo, y Google también admite Allow para tallar excepciones de un Disallow más amplio. Este generador emite grupos en el formato estándar, añade la línea Sitemap y luego comprueba la cordura de su propia salida: los campos desconocidos, las rutas que no empiezan con / y las líneas de sitemap que no son URL completas se marcan todos. Recuerda que robots.txt es una petición, no un candado: los rastreadores bien educados lo obedecen, los maliciosos pueden no hacerlo, así que nunca confíes en él para proteger secretos.

Preguntas frecuentes

¿Este generador es gratuito?

Sí: completamente gratis, sin registro.

¿Adónde va robots.txt?

En la raíz de tu dominio: https://yourdomain.com/robots.txt: no se lee en ningún otro sitio.

¿Robots.txt bloquea las páginas de los resultados de búsqueda por completo?

Bloquea el rastreo, no la indexación: una URL bloqueada aún puede aparecer en los resultados (sin descripción) si otros sitios enlazan a ella. Usa una etiqueta noindex para mantener una página completamente fuera.

¿Puedo bloquear los rastreadores de IA?

El ajuste de IA añade grupos que deniegan GPTBot, CCBot y Google-Extended. Los rastreadores que cumplen lo respetan; no puede detener a los raspadores que ignoran robots.txt.

¿Se sube algo?

No. La generación y las comprobaciones se ejecutan en tu navegador.

Herramientas para desarrolladores relacionadas

Incrusta esta herramienta en tu sitio web — gratis

Añade esta herramienta a tu propio sitio web o blog: es completamente gratis, no necesita registro y siempre muestra la última versión. Copia el código de abajo y pégalo en tu página donde quieras que aparezca la herramienta. Mantener la pequeña línea de crédito “Powered by Loona Automation” bajo la inserción ayuda a mantener esta herramienta gratuita — pero eres libre de darle estilo o eliminarla; la herramienta funciona de cualquier modo.