Testeur d’URL Robots.txt
Vérifie si un robot peut explorer un chemin et identifie la règle exacte appliquée.
Examiner accès robots.txt pour une URL
L’outil choisit le groupe user-agent le plus précis et la règle correspondante la plus longue ; Allow gagne en cas d’égalité.
Interpréter le résultat
Examinez le groupe et la règle avant de corriger un blocage ou documenter une exclusion.
Prioriser les corrections
Seul robots.txt est évalué ; pare-feu, authentification et comportement du robot peuvent toujours bloquer.
Comment interpréter accès robots.txt pour une URL
L’outil choisit le groupe user-agent le plus précis et la règle correspondante la plus longue ; Allow gagne en cas d’égalité. Seul robots.txt est évalué ; pare-feu, authentification et comportement du robot peuvent toujours bloquer.
Ce que l’outil évalue
L’outil choisit le groupe user-agent le plus précis et la règle correspondante la plus longue ; Allow gagne en cas d’égalité.
- L’outil choisit le groupe user-agent le plus précis et la règle correspondante la plus longue ; Allow gagne en cas d’égalité.
- Examinez le groupe et la règle avant de corriger un blocage ou documenter une exclusion.
- Seul robots.txt est évalué ; pare-feu, authentification et comportement du robot peuvent toujours bloquer.
Problèmes et prochaines étapes
Examinez le groupe et la règle avant de corriger un blocage ou documenter une exclusion.
Questions fréquentes
Que vérifie l’outil ?
L’outil choisit le groupe user-agent le plus précis et la règle correspondante la plus longue ; Allow gagne en cas d’égalité.
Comment utiliser le résultat ?
Examinez le groupe et la règle avant de corriger un blocage ou documenter une exclusion.
Quelles sont les limites ?
Seul robots.txt est évalué ; pare-feu, authentification et comportement du robot peuvent toujours bloquer.