Probador de URL para Robots.txt
Comprueba si un robot puede rastrear una ruta e identifica la regla exacta aplicada.
Revisar acceso robots.txt para una URL
Carga robots.txt, elige el grupo más específico y aplica la regla más larga; Allow gana los empates.
Interpretar el resultado
Revisa grupo y regla antes de reducir un bloqueo accidental o documentar una exclusión.
Priorizar correcciones
Solo evalúa robots.txt; firewall, autenticación y comportamiento del robot pueden impedir el acceso.
Cómo interpretar acceso robots.txt para una URL
Carga robots.txt, elige el grupo más específico y aplica la regla más larga; Allow gana los empates. Solo evalúa robots.txt; firewall, autenticación y comportamiento del robot pueden impedir el acceso.
Qué evalúa la herramienta
Carga robots.txt, elige el grupo más específico y aplica la regla más larga; Allow gana los empates.
- Carga robots.txt, elige el grupo más específico y aplica la regla más larga; Allow gana los empates.
- Revisa grupo y regla antes de reducir un bloqueo accidental o documentar una exclusión.
- Solo evalúa robots.txt; firewall, autenticación y comportamiento del robot pueden impedir el acceso.
Problemas y próximos pasos
Revisa grupo y regla antes de reducir un bloqueo accidental o documentar una exclusión.
Preguntas frecuentes
¿Qué comprueba?
Carga robots.txt, elige el grupo más específico y aplica la regla más larga; Allow gana los empates.
¿Cómo uso el resultado?
Revisa grupo y regla antes de reducir un bloqueo accidental o documentar una exclusión.
¿Qué limitaciones tiene?
Solo evalúa robots.txt; firewall, autenticación y comportamiento del robot pueden impedir el acceso.