爬虫规则检查
Robots.txt 检查器
直接检查任意域名当前生效的 robots.txt 文件。
免费使用 无需注册
检查robots.txt 抓取规则
审计会显示可用性、HTTP 状态、User-Agent 分组、Allow/Disallow 数量、声明的 Sitemap 以及原始文件。
读懂检查结果
结果可帮助确认站点根目录公开了哪些抓取规则和 Sitemap 地址。
定位常见问题
文件缺失、非 200 响应、范围过大的 Disallow、错误分组或过期 Sitemap 都会影响爬虫发现。
如何理解robots.txt 抓取规则结果
robots.txt 控制抓取而非保证移除索引；本解析器也不会模拟所有爬虫的规则优先级。
常见问题与处理建议
文件缺失、非 200 响应、范围过大的 Disallow、错误分组或过期 Sitemap 都会影响爬虫发现。
常见问题
这个工具会检查哪些robots.txt 抓取规则信息？
审计会显示可用性、HTTP 状态、User-Agent 分组、Allow/Disallow 数量、声明的 Sitemap 以及原始文件。
应该如何使用检查结果？
结合 User-Agent 阅读原始规则，缩小误拦截范围，更新 Sitemap，并重新测试已发布文件。
这个工具有哪些限制？
robots.txt 控制抓取而非保证移除索引；本解析器也不会模拟所有爬虫的规则优先级。