Générateur de robots.txt
Choisissez ce que les robots peuvent explorer, lisez les alertes et téléchargez le fichier prêt à publier.
Saisie
Un chemin par ligne, par ex. /admin/
Résultat
User-agent: *
Disallow:
Enregistrez-le sous robots.txt à la racine du domaine, par ex. https://example.com/robots.txt
Vérifications
- Astuce : ajoutez l’URL de votre Sitemap pour que les robots la trouvent
Examiner règles d’exploration robots.txt
Le fichier est construit avec des groupes User-agent valides ; chemins sans barre initiale, CSS ou JavaScript bloqués, Sitemaps relatifs et blocages complets risqués sont signalés.
Interpréter le résultat
Déposez le fichier à la racine du domaine, puis testez vos URL importantes avant de vous fier aux nouvelles règles.
Prioriser les corrections
robots.txt est une demande, pas un contrôle d’accès : les robots respectueux le suivent, mais il ne masque ni ne retire les pages déjà indexées.
Comment interpréter règles d’exploration robots.txt
Le fichier est construit avec des groupes User-agent valides ; chemins sans barre initiale, CSS ou JavaScript bloqués, Sitemaps relatifs et blocages complets risqués sont signalés.
Limites de cette analyse
robots.txt est une demande, pas un contrôle d’accès : les robots respectueux le suivent, mais il ne masque ni ne retire les pages déjà indexées.
Questions fréquentes
Que vérifie l’outil ?
Le fichier est construit avec des groupes User-agent valides ; chemins sans barre initiale, CSS ou JavaScript bloqués, Sitemaps relatifs et blocages complets risqués sont signalés.
Comment utiliser le résultat ?
Déposez le fichier à la racine du domaine, puis testez vos URL importantes avant de vous fier aux nouvelles règles.
Quelles sont les limites ?
robots.txt est une demande, pas un contrôle d’accès : les robots respectueux le suivent, mais il ne masque ni ne retire les pages déjà indexées.