Testeur de Robots.txt - Autorisé ou bloqué, et exactement pourquoi
Un fichier robots.txt est facile à écrire et difficile à raisonner. Ce testeur répond à la seule question qui compte pour un robot d’exploration et une URL donnés.
Comment utiliser le Testeur de Robots.txt
- Collez le contenu de votre robots.txt.
- Entrez l’URL complète à tester et le nom de l’user-agent (Googlebot, GPTBot, *).
- Cliquez sur Tester cette URL.
- Lisez le verdict et la règle correspondante qui l’a produit.
Comment ça fonctionne
L’appariement suit le standard (RFC 9309, tel que Google l’implémente) : d’abord le groupe du robot d’exploration est choisi - le groupe nommant le jeton d’user-agent correspondant le plus précis l’emporte sur le groupe * - puis, au sein de ce groupe, la règle dont le motif de chemin correspond au chemin de l’URL et qui est la plus longue l’emporte ; à égalité, Allow bat Disallow. Les motifs prennent en charge * comme joker et un $ final comme ancre de fin. Un Disallow vide ne correspond à rien, et c’est pourquoi « Disallow: » seul autorise tout.
Questions fréquemment posées
Ce testeur est-il gratuit ?
Oui - entièrement gratuit, sans inscription.
Quelles règles de correspondance suit-il ?
RFC 9309 / implémentation de Google : groupe d’agents le plus précis, règle correspondante la plus longue, Allow l’emporte à égalité, prise en charge des motifs * et $.
Mon URL est bloquée ici mais indexée dans Google - pourquoi ?
Robots bloque l’exploration, et non l’indexation. Une page bloquée peut quand même être indexée à partir de liens, affichée sans description.
Va-t-il chercher mon robots.txt en direct ?
Non - collez le contenu. Les navigateurs ne peuvent pas aller chercher les fichiers de sites arbitraires (CORS), et coller vous permet aussi de tester un brouillon avant de le publier.
Quelque chose est-il téléversé ?
Non. Les tests s’exécutent dans votre navigateur.