Probador de URL para Robots.txt
Comprueba si un robot puede rastrear una ruta e identifica la regla exacta aplicada.
Revisar acceso robots.txt para una URL
Carga robots.txt, elige el grupo más específico y aplica la regla más larga; Allow gana los empates.
Interpretar el resultado
Revisa grupo y regla antes de reducir un bloqueo accidental o documentar una exclusión.
Priorizar correcciones
Solo evalúa robots.txt; firewall, autenticación y comportamiento del robot pueden impedir el acceso.
Cómo interpretar acceso robots.txt para una URL
Carga robots.txt, elige el grupo más específico y aplica la regla más larga; Allow gana los empates.
Limitaciones de esta comprobación
Solo evalúa robots.txt; firewall, autenticación y comportamiento del robot pueden impedir el acceso.
Preguntas frecuentes
¿Qué comprueba?
Carga robots.txt, elige el grupo más específico y aplica la regla más larga; Allow gana los empates.
¿Cómo uso el resultado?
Revisa grupo y regla antes de reducir un bloqueo accidental o documentar una exclusión.
¿Qué limitaciones tiene?
Solo evalúa robots.txt; firewall, autenticación y comportamiento del robot pueden impedir el acceso.
Herramientas y guías relacionadas
Generador de robots.txt
Crea un robots.txt válido con rutas bloqueadas, enlaces al Sitemap y exclusión de bots de IA como GPTBot.
Más informaciónVerificador de Robots.txt
Resume grupos, reglas y sitemaps de robots.txt.
Más informaciónVerificador de URL para Googlebot
Prueba la respuesta servida al user-agent de Googlebot.
Más información