Cómo comprobar una URL como Googlebot
Prueba una URL con User-Agent de Googlebot, compara respuestas con navegadores y diagnostica bloqueos, redirecciones y diferencias de rastreo.
Comprobar “como Googlebot” significa normalmente enviar una petición con su User-Agent y compararla con un navegador. Puede revelar bloqueos o rutas específicas, pero no reproduce la infraestructura, renderizado ni sistema de indexación de Google.
Realizar la prueba
- Introduce la URL en Googlebot URL Checker.
- Revisa estado inicial, saltos y destino final.
- Compara la misma dirección en el verificador multiidentidad.
- Para renderizado e indexación, confirma en Google Search Console.
La pregunta útil es si el rastreador llega mediante una ruta estable a contenido principal equivalente, no únicamente si termina en 200.
Por qué puede cambiar la respuesta
WAF y gestión de bots
Un firewall puede devolver 403 o un desafío a cualquier agente que parezca automatizado. La seguridad debe reconocer rastreadores verificados sin confiar únicamente en una cabecera falsificable.
Límites de frecuencia
Un 429 puede aparecer cuando crawler, monitorización y API comparten capacidad. Revisa alcance, volumen y Retry-After.
CDN y caché
Una clave de caché incorrecta puede mezclar respuestas por agente, país, cookie o dispositivo. También puede quedar middleware antiguo que envíe bots a un sitio móvil o servicio de prerender.
Interpretación rápida
- 200: comprueba contenido, robots y canonical.
- 301/308: valida un destino directo y coherente.
- 302/307: confirma que sea temporal.
- 403: revisa WAF y permisos.
- 429: analiza capacidad de rastreo.
- 5xx: investiga origen y dependencias.
Límites de la simulación
Cualquiera puede escribir Googlebot en el encabezado. Esta herramienta no procede de IPs verificadas de Google ni reproduce JavaScript, caché, historial o decisiones de indexación. Úsala como diagnóstico del servidor y consulta Search Console para saber cómo Google procesa la URL.
Lista SEO
- Googlebot y navegadores reciben contenido principal equivalente.
- No hay cadenas largas ni errores intermitentes.
- robots.txt y meta robots coinciden con la intención.
- canonical apunta a una URL accesible e indexable.
- El sistema de seguridad no concede privilegios solo por User-Agent.
- Las páginas JavaScript se prueban además con renderizado real.
¿Indica si una URL está indexada?
No. Solo comprueba la respuesta pública actual. La indexación debe consultarse en Search Console o resultados de búsqueda.