Autorisation de crawl par URL

Testeur d’URL Robots.txt

Vérifie si un robot peut explorer un chemin et identifie la règle exacte appliquée.

Gratuit Sans inscription

Examiner accès robots.txt pour une URL

L’outil choisit le groupe user-agent le plus précis et la règle correspondante la plus longue ; Allow gagne en cas d’égalité.

Examinez le groupe et la règle avant de corriger un blocage ou documenter une exclusion.

Seul robots.txt est évalué ; pare-feu, authentification et comportement du robot peuvent toujours bloquer.

L’outil choisit le groupe user-agent le plus précis et la règle correspondante la plus longue ; Allow gagne en cas d’égalité.

Seul robots.txt est évalué ; pare-feu, authentification et comportement du robot peuvent toujours bloquer.

Que vérifie l’outil ?

L’outil choisit le groupe user-agent le plus précis et la règle correspondante la plus longue ; Allow gagne en cas d’égalité.

Comment utiliser le résultat ?

Examinez le groupe et la règle avant de corriger un blocage ou documenter une exclusion.

Quelles sont les limites ?

Seul robots.txt est évalué ; pare-feu, authentification et comportement du robot peuvent toujours bloquer.