爬虫规则检查
Robots.txt 检查器
直接检查任意域名当前生效的 robots.txt 文件。
✓ 免费使用 ✓ 无需注册 ✓ 最多跟踪 20 次重定向
1
检查robots.txt 抓取规则
审计会显示可用性、HTTP 状态、User-Agent 分组、Allow/Disallow 数量、声明的 Sitemap 以及原始文件。
2
读懂检查结果
结果可帮助确认站点根目录公开了哪些抓取规则和 Sitemap 地址。
3
定位常见问题
文件缺失、非 200 响应、范围过大的 Disallow、错误分组或过期 Sitemap 都会影响爬虫发现。
如何理解robots.txt 抓取规则结果
结果可帮助确认站点根目录公开了哪些抓取规则和 Sitemap 地址。robots.txt 控制抓取而非保证移除索引；本解析器也不会模拟所有爬虫的规则优先级。
工具具体检查什么
审计会显示可用性、HTTP 状态、User-Agent 分组、Allow/Disallow 数量、声明的 Sitemap 以及原始文件。结果可帮助确认站点根目录公开了哪些抓取规则和 Sitemap 地址。
- 审计会显示可用性、HTTP 状态、User-Agent 分组、Allow/Disallow 数量、声明的 Sitemap 以及原始文件。
- 文件缺失、非 200 响应、范围过大的 Disallow、错误分组或过期 Sitemap 都会影响爬虫发现。
- 结合 User-Agent 阅读原始规则，缩小误拦截范围，更新 Sitemap，并重新测试已发布文件。
常见问题与处理建议
文件缺失、非 200 响应、范围过大的 Disallow、错误分组或过期 Sitemap 都会影响爬虫发现。结合 User-Agent 阅读原始规则，缩小误拦截范围，更新 Sitemap，并重新测试已发布文件。robots.txt 控制抓取而非保证移除索引；本解析器也不会模拟所有爬虫的规则优先级。
常见问题
这个工具会检查哪些robots.txt 抓取规则信息？
审计会显示可用性、HTTP 状态、User-Agent 分组、Allow/Disallow 数量、声明的 Sitemap 以及原始文件。
应该如何使用检查结果？
结果可帮助确认站点根目录公开了哪些抓取规则和 Sitemap 地址。结合 User-Agent 阅读原始规则，缩小误拦截范围，更新 Sitemap，并重新测试已发布文件。
这个工具有哪些限制？
robots.txt 控制抓取而非保证移除索引；本解析器也不会模拟所有爬虫的规则优先级。