Probador de robots.txt - Permitido o bloqueado, y exactamente por qué
Un archivo robots.txt es fácil de escribir y difícil de razonar. Este probador responde la única pregunta que importa para un rastreador y una URL dados.
Cómo usar el Probador de robots.txt
- Pega el contenido de tu robots.txt.
- Introduce la URL completa a probar y el nombre del user-agent (Googlebot, GPTBot, *).
- Haz clic en Probar esta URL.
- Lee el veredicto y la regla coincidente que lo produjo.
Cómo funciona
La coincidencia sigue el estándar (RFC 9309, tal como lo implementa Google): primero se elige el grupo del rastreador (el grupo que nombra el token de user-agent coincidente más específico gana al grupo *); luego, dentro de ese grupo, gana la regla cuyo patrón de ruta coincide con la ruta de la URL y es más largo; en caso de empate, Allow vence a Disallow. Los patrones admiten * como comodín y un $ final como ancla de fin. Un Disallow vacío no coincide con nada, y por eso 'Disallow:' solo permite todo.
Preguntas frecuentes
¿Este probador es gratuito?
Sí: completamente gratis, sin registro.
¿Qué reglas de coincidencia sigue?
RFC 9309 / implementación de Google: grupo de agente más específico, regla coincidente más larga, Allow gana los empates, compatibilidad con patrones * y $.
Mi URL está bloqueada aquí pero indexada en Google: ¿por qué?
Robots bloquea el rastreo, no la indexación. Una página bloqueada aún puede indexarse desde enlaces, mostrada sin descripción.
¿Obtiene mi robots.txt en vivo?
No: pega el contenido. Los navegadores no pueden obtener archivos de sitios arbitrarios (CORS), y pegar también te permite probar un borrador antes de publicarlo.
¿Se sube algo?
No. Las pruebas se ejecutan en tu navegador.