Verificador de Robots.txt
Inspecciona el archivo robots.txt activo de cualquier dominio.
Revisar reglas de rastreo de robots.txt
Muestra disponibilidad, estado HTTP, grupos de user-agent, recuentos Allow y Disallow, Sitemaps declarados y archivo completo.
Interpretar el resultado
El resultado confirma qué instrucciones de rastreo y ubicaciones de sitemap están expuestas públicamente.
Detectar problemas habituales
Un archivo ausente, estado no 200, Disallow amplio, grupos incorrectos o Sitemaps antiguos pueden dificultar el descubrimiento.
Cómo interpretar reglas de rastreo de robots.txt
robots.txt controla el rastreo, no garantiza la desindexación; el parser no simula la precedencia de todos los robots.
Problemas habituales y próximos pasos
Un archivo ausente, estado no 200, Disallow amplio, grupos incorrectos o Sitemaps antiguos pueden dificultar el descubrimiento.
Preguntas frecuentes
¿Qué cubre la revisión de reglas de rastreo de robots.txt?
Muestra disponibilidad, estado HTTP, grupos de user-agent, recuentos Allow y Disallow, Sitemaps declarados y archivo completo.
¿Cómo debo utilizar el resultado?
Lee las reglas por user-agent, reduce bloqueos accidentales, actualiza los Sitemaps y vuelve a probar el archivo publicado.
¿Qué limitaciones tiene la herramienta?
robots.txt controla el rastreo, no garantiza la desindexación; el parser no simula la precedencia de todos los robots.