Comment vérifier une URL comme Googlebot
Tester une URL avec un User-Agent Googlebot, comparer la réponse aux navigateurs et diagnostiquer blocages, redirections et différences d'exploration.
Vérifier « comme Googlebot » consiste généralement à envoyer une requête avec son User-Agent, puis à la comparer à un navigateur. Cela révèle blocages ou parcours spécifiques, sans reproduire l’infrastructure, le rendu ni l’indexation de Google.
Réaliser le test
- Saisissez l’URL dans Googlebot URL Checker.
- Examinez statut initial, sauts et destination finale.
- Comparez la même adresse dans le contrôle multi-identité.
- Confirmez rendu et indexation dans Google Search Console.
La bonne question n’est pas seulement « est-ce 200 ? », mais si le robot atteint un contenu principal équivalent par un chemin stable.
Causes de différences
WAF et gestion des bots
Un pare-feu peut renvoyer 403 ou un challenge à tout agent automatisé. Une bonne politique reconnaît les robots vérifiés sans faire confiance à une simple chaîne falsifiable.
Limitation de débit
429 peut apparaître si crawl, supervision et API partagent la même capacité. Vérifiez périmètre, volume et Retry-After.
CDN et application
Une mauvaise clé de cache peut mélanger les réponses selon agent, pays, cookie ou appareil. Un ancien middleware peut aussi envoyer les robots vers un site mobile ou un service de prérendu obsolète.
Lecture rapide
- 200 : contrôlez contenu, robots et canonical.
- 301/308 : confirmez une cible directe et cohérente.
- 302/307 : validez le caractère temporaire.
- 403 : examinez WAF et droits.
- 429 : étudiez la capacité de crawl.
- 5xx : analysez origine et dépendances.
Limites
Tout client peut écrire Googlebot dans son en-tête. L’outil ne vient pas des IP Google vérifiées et ne reproduit ni JavaScript, cache, historique de crawl ou décision d’indexation. Utilisez-le pour diagnostiquer le serveur et Search Console pour la vue réelle de Google.
Checklist SEO
- Googlebot et navigateur reçoivent un contenu principal équivalent.
- Les URL importantes n’ont ni longue chaîne ni erreur intermittente.
- robots.txt et directives de page correspondent à l’objectif.
- La canonical vise une URL accessible et indexable.
- La sécurité n’accorde pas de privilège au seul User-Agent.
- Les pages JavaScript font aussi l’objet d’un test de rendu.