Generador de robots.txt
Elige qué pueden rastrear los bots, revisa avisos sobre reglas arriesgadas y descarga el archivo listo.
Entrada
Una ruta por línea, p. ej. /admin/
Resultado
User-agent: *
Disallow:
Guárdalo como robots.txt en la raíz de tu dominio, p. ej. https://example.com/robots.txt
Comprobaciones
- Consejo: añade la URL de tu Sitemap para que los rastreadores la encuentren
Revisar reglas de rastreo de robots.txt
El archivo se arma con grupos User-agent válidos y se avisan rutas sin barra inicial, CSS o JavaScript bloqueados, Sitemaps relativos y bloqueos totales arriesgados.
Interpretar el resultado
Sube el archivo a la raíz de tu dominio y prueba URL importantes con él antes de confiar en las nuevas reglas.
Priorizar correcciones
robots.txt es una petición, no un control de acceso: los rastreadores que lo respetan lo siguen, pero no oculta ni elimina páginas ya indexadas.
Cómo interpretar reglas de rastreo de robots.txt
El archivo se arma con grupos User-agent válidos y se avisan rutas sin barra inicial, CSS o JavaScript bloqueados, Sitemaps relativos y bloqueos totales arriesgados.
Limitaciones de esta comprobación
robots.txt es una petición, no un control de acceso: los rastreadores que lo respetan lo siguen, pero no oculta ni elimina páginas ya indexadas.
Preguntas frecuentes
¿Qué comprueba?
El archivo se arma con grupos User-agent válidos y se avisan rutas sin barra inicial, CSS o JavaScript bloqueados, Sitemaps relativos y bloqueos totales arriesgados.
¿Cómo uso el resultado?
Sube el archivo a la raíz de tu dominio y prueba URL importantes con él antes de confiar en las nuevas reglas.
¿Qué limitaciones tiene?
robots.txt es una petición, no un control de acceso: los rastreadores que lo respetan lo siguen, pero no oculta ni elimina páginas ya indexadas.
Herramientas y guías relacionadas
Probador de URL para Robots.txt
Prueba una URL con las reglas de Googlebot, Bingbot y robots de IA.
Más informaciónVerificador de Robots.txt
Resume grupos, reglas y sitemaps de robots.txt.
Más informaciónVerificador de URL de Sitemap
Descubre un sitemap y comprueba hasta 1.000 URL.
Más información