Verificador de Robots.txt
Inspecciona el archivo robots.txt activo de cualquier dominio.
Revisar reglas de rastreo de robots.txt
Muestra disponibilidad, estado HTTP, grupos de user-agent, recuentos Allow y Disallow, Sitemaps declarados y archivo completo.
Interpretar el resultado
El resultado confirma qué instrucciones de rastreo y ubicaciones de sitemap están expuestas públicamente.
Detectar problemas habituales
Un archivo ausente, estado no 200, Disallow amplio, grupos incorrectos o Sitemaps antiguos pueden dificultar el descubrimiento.
Cómo interpretar reglas de rastreo de robots.txt
El resultado confirma qué instrucciones de rastreo y ubicaciones de sitemap están expuestas públicamente. robots.txt controla el rastreo, no garantiza la desindexación; el parser no simula la precedencia de todos los robots.
Qué evalúa la herramienta
Muestra disponibilidad, estado HTTP, grupos de user-agent, recuentos Allow y Disallow, Sitemaps declarados y archivo completo. El resultado confirma qué instrucciones de rastreo y ubicaciones de sitemap están expuestas públicamente.
- Muestra disponibilidad, estado HTTP, grupos de user-agent, recuentos Allow y Disallow, Sitemaps declarados y archivo completo.
- Un archivo ausente, estado no 200, Disallow amplio, grupos incorrectos o Sitemaps antiguos pueden dificultar el descubrimiento.
- Lee las reglas por user-agent, reduce bloqueos accidentales, actualiza los Sitemaps y vuelve a probar el archivo publicado.
Problemas habituales y próximos pasos
Un archivo ausente, estado no 200, Disallow amplio, grupos incorrectos o Sitemaps antiguos pueden dificultar el descubrimiento. Lee las reglas por user-agent, reduce bloqueos accidentales, actualiza los Sitemaps y vuelve a probar el archivo publicado. robots.txt controla el rastreo, no garantiza la desindexación; el parser no simula la precedencia de todos los robots.
Preguntas frecuentes
¿Qué cubre la revisión de reglas de rastreo de robots.txt?
Muestra disponibilidad, estado HTTP, grupos de user-agent, recuentos Allow y Disallow, Sitemaps declarados y archivo completo.
¿Cómo debo utilizar el resultado?
El resultado confirma qué instrucciones de rastreo y ubicaciones de sitemap están expuestas públicamente. Lee las reglas por user-agent, reduce bloqueos accidentales, actualiza los Sitemaps y vuelve a probar el archivo publicado.
¿Qué limitaciones tiene la herramienta?
robots.txt controla el rastreo, no garantiza la desindexación; el parser no simula la precedencia de todos los robots.