Logo de Loona AutomationLoona Developer Tools
Accueil › Developer Tools › Testeur de Robots.txt

Testeur de Robots.txt - Autorisé ou bloqué, et exactement pourquoi

En bref : le Testeur de robots.txt applique les vraies règles de correspondance - le groupe d’agent utilisateur le plus spécifique, puis la règle de chemin correspondante la plus longue, Allow gagnant les égalités - et montre le verdict plus la règle exacte qui l’a décidé.

Un fichier robots.txt est facile à écrire et difficile à raisonner. Ce testeur répond à la seule question qui compte pour un robot d’exploration et une URL donnés.

Privé par conception : tout dans cet outil se passe à 100 % dans votre navigateur avec JavaScript. Votre entrée n’est jamais téléversée sur un serveur, jamais stockée et jamais vue par nous - fermez l’onglet et tout a disparu.

Comment utiliser le Testeur de Robots.txt

  1. Collez le contenu de votre robots.txt.
  2. Entrez l’URL complète à tester et le nom de l’user-agent (Googlebot, GPTBot, *).
  3. Cliquez sur Tester cette URL.
  4. Lisez le verdict et la règle correspondante qui l’a produit.

Comment ça fonctionne

L’appariement suit le standard (RFC 9309, tel que Google l’implémente) : d’abord le groupe du robot d’exploration est choisi - le groupe nommant le jeton d’user-agent correspondant le plus précis l’emporte sur le groupe * - puis, au sein de ce groupe, la règle dont le motif de chemin correspond au chemin de l’URL et qui est la plus longue l’emporte ; à égalité, Allow bat Disallow. Les motifs prennent en charge * comme joker et un $ final comme ancre de fin. Un Disallow vide ne correspond à rien, et c’est pourquoi « Disallow: » seul autorise tout.

Questions fréquemment posées

Ce testeur est-il gratuit ?

Oui - entièrement gratuit, sans inscription.

Quelles règles de correspondance suit-il ?

RFC 9309 / implémentation de Google : groupe d’agents le plus précis, règle correspondante la plus longue, Allow l’emporte à égalité, prise en charge des motifs * et $.

Mon URL est bloquée ici mais indexée dans Google - pourquoi ?

Robots bloque l’exploration, et non l’indexation. Une page bloquée peut quand même être indexée à partir de liens, affichée sans description.

Va-t-il chercher mon robots.txt en direct ?

Non - collez le contenu. Les navigateurs ne peuvent pas aller chercher les fichiers de sites arbitraires (CORS), et coller vous permet aussi de tester un brouillon avant de le publier.

Quelque chose est-il téléversé ?

Non. Les tests s’exécutent dans votre navigateur.

Outils apparentés pour développeurs

Intégrez cet outil sur votre site web — gratuitement

Ajoutez cet outil à votre propre site web ou blog — il est entièrement gratuit, ne nécessite aucune inscription, et affiche toujours la dernière version. Copiez le code ci-dessous et collez-le dans votre page à l’endroit où vous voulez que l’outil apparaisse. Conserver la petite ligne de crédit « Powered by Loona Automation » sous l’intégration aide à garder cet outil gratuit — mais vous êtes libre de la styliser ou de la retirer ; l’outil fonctionne dans les deux cas.