Logo de Loona AutomationLoona Developer Tools
Accueil › Developer Tools › Générateur de Robots.txt

Générateur de Robots.txt - Des règles pour robots sans les pièges de syntaxe

En bref : le Générateur de robots.txt construit un robots.txt valide à partir de préréglages et de règles par agent - chemins autorisés et interdits par robot, plus votre ligne de sitemap - et exécute des vérifications de salubrité sur le résultat avant que vous l’expédiiez.

Une mauvaise ligne dans robots.txt peut cacher tout un site à Google - ou ne rien cacher du tout. Construisez-le ici, avec des préréglages pour les cas courants et des vérifications sur la sortie.

Privé par conception : tout dans cet outil se passe à 100 % dans votre navigateur avec JavaScript. Votre entrée n’est jamais téléversée sur un serveur, jamais stockée et jamais vue par nous - fermez l’onglet et tout a disparu.

Comment utiliser le Générateur de Robots.txt

  1. Choisissez un préréglage, ou partez de Tout autoriser et personnalisez.
  2. Ajoutez un groupe pour n’importe quel robot d’exploration précis (par exemple GPTBot) avec ses propres règles.
  3. Énumérez les chemins d’interdiction et d’autorisation, un par ligne - les chemins commencent par /.
  4. Ajoutez l’URL de votre sitemap et cliquez sur Générer.
  5. Parcourez les notes de contrôle de cohérence, puis placez le fichier à yourdomain.com/robots.txt.

Comment ça fonctionne

Un fichier robots.txt est un ensemble de groupes : chaque groupe nomme un ou plusieurs user-agents (robots d’exploration) suivis de règles de chemin Disallow et Allow qui s’appliquent à eux. Un Disallow vide signifie que tout est autorisé ; Disallow: / bloque tout le site pour cet agent. Les règles sont appariées par préfixe, et Google prend aussi en charge Allow pour tailler des exceptions dans un Disallow plus large. Ce générateur émet des groupes au format standard, ajoute la ligne Sitemap, puis vérifie sainement sa propre sortie : les champs inconnus, les chemins qui ne commencent pas par /, et les lignes de sitemap qui ne sont pas des URL complètes sont tous signalés. Rappelez-vous que robots.txt est une demande, et non un verrou - les robots bien élevés lui obéissent, les malveillants peut-être pas ; ne comptez donc jamais sur lui pour protéger des secrets.

Questions fréquemment posées

Ce générateur est-il gratuit ?

Oui - entièrement gratuit, sans inscription.

Où va robots.txt ?

À la racine de votre domaine : https://yourdomain.com/robots.txt - nulle part ailleurs n’est lu.

Robots.txt bloque-t-il complètement les pages des résultats de recherche ?

Il bloque l’exploration, et non l’indexation : une URL bloquée peut encore apparaître dans les résultats (sans description) si d’autres sites y lient. Utilisez une balise noindex pour garder une page entièrement à l’écart.

Puis-je bloquer les robots d’IA ?

Le préréglage IA ajoute des groupes interdisant GPTBot, CCBot et Google-Extended. Les robots d’exploration conformes l’honorent ; il ne peut pas arrêter les scrapers qui ignorent robots.txt.

Quelque chose est-il téléversé ?

Non. La génération et les vérifications s’exécutent dans votre navigateur.

Outils apparentés pour développeurs

Intégrez cet outil sur votre site web — gratuitement

Ajoutez cet outil à votre propre site web ou blog — il est entièrement gratuit, ne nécessite aucune inscription, et affiche toujours la dernière version. Copiez le code ci-dessous et collez-le dans votre page à l’endroit où vous voulez que l’outil apparaisse. Conserver la petite ligne de crédit « Powered by Loona Automation » sous l’intégration aide à garder cet outil gratuit — mais vous êtes libre de la styliser ou de la retirer ; l’outil fonctionne dans les deux cas.