Générateur de Robots.txt - Des règles pour robots sans les pièges de syntaxe
Une mauvaise ligne dans robots.txt peut cacher tout un site à Google - ou ne rien cacher du tout. Construisez-le ici, avec des préréglages pour les cas courants et des vérifications sur la sortie.
Comment utiliser le Générateur de Robots.txt
- Choisissez un préréglage, ou partez de Tout autoriser et personnalisez.
- Ajoutez un groupe pour n’importe quel robot d’exploration précis (par exemple GPTBot) avec ses propres règles.
- Énumérez les chemins d’interdiction et d’autorisation, un par ligne - les chemins commencent par /.
- Ajoutez l’URL de votre sitemap et cliquez sur Générer.
- Parcourez les notes de contrôle de cohérence, puis placez le fichier à yourdomain.com/robots.txt.
Comment ça fonctionne
Un fichier robots.txt est un ensemble de groupes : chaque groupe nomme un ou plusieurs user-agents (robots d’exploration) suivis de règles de chemin Disallow et Allow qui s’appliquent à eux. Un Disallow vide signifie que tout est autorisé ; Disallow: / bloque tout le site pour cet agent. Les règles sont appariées par préfixe, et Google prend aussi en charge Allow pour tailler des exceptions dans un Disallow plus large. Ce générateur émet des groupes au format standard, ajoute la ligne Sitemap, puis vérifie sainement sa propre sortie : les champs inconnus, les chemins qui ne commencent pas par /, et les lignes de sitemap qui ne sont pas des URL complètes sont tous signalés. Rappelez-vous que robots.txt est une demande, et non un verrou - les robots bien élevés lui obéissent, les malveillants peut-être pas ; ne comptez donc jamais sur lui pour protéger des secrets.
Questions fréquemment posées
Ce générateur est-il gratuit ?
Oui - entièrement gratuit, sans inscription.
Où va robots.txt ?
À la racine de votre domaine : https://yourdomain.com/robots.txt - nulle part ailleurs n’est lu.
Robots.txt bloque-t-il complètement les pages des résultats de recherche ?
Il bloque l’exploration, et non l’indexation : une URL bloquée peut encore apparaître dans les résultats (sans description) si d’autres sites y lient. Utilisez une balise noindex pour garder une page entièrement à l’écart.
Puis-je bloquer les robots d’IA ?
Le préréglage IA ajoute des groupes interdisant GPTBot, CCBot et Google-Extended. Les robots d’exploration conformes l’honorent ; il ne peut pas arrêter les scrapers qui ignorent robots.txt.
Quelque chose est-il téléversé ?
Non. La génération et les vérifications s’exécutent dans votre navigateur.
Outils apparentés pour développeurs
Générateur de balises Meta
Générez un bloc méta HTML prêt à coller - titre, description, robots, canonique - avec un aperçu de style SERP.
Générateur Open Graph et Twitter Card
Construisez les balises Open Graph et Twitter Card avec un aperçu de carte, afin que les liens partagés aient belle allure partout.
Générateur de Robots.txt
Construisez un robots.txt valide avec des règles d’autorisation et d’interdiction par agent et une ligne de sitemap.