指定 URL 爬虫权限测试
Robots.txt URL 测试器
判断指定爬虫是否可以抓取某个路径，并定位实际命中的规则。
✓ 免费使用 ✓ 无需注册 ✓ 最多跟踪 20 次重定向
1
检查单个 URL 的 Robots.txt 权限
工具加载源站 Robots.txt，选择最具体的 User-Agent 分组，再按最长规则匹配；同长度时 Allow 优先。
2
读懂检查结果
修改误拦截或记录有意排除前，应同时检查命中分组与具体规则。
3
确定修复优先级
结果只评估已发布 Robots.txt；防火墙、身份验证和爬虫自身行为仍可能阻止请求。
如何理解单个 URL 的 Robots.txt 权限
工具加载源站 Robots.txt，选择最具体的 User-Agent 分组，再按最长规则匹配；同长度时 Allow 优先。 结果只评估已发布 Robots.txt；防火墙、身份验证和爬虫自身行为仍可能阻止请求。
工具具体检查什么
工具加载源站 Robots.txt，选择最具体的 User-Agent 分组，再按最长规则匹配；同长度时 Allow 优先。
- 工具加载源站 Robots.txt，选择最具体的 User-Agent 分组，再按最长规则匹配；同长度时 Allow 优先。
- 修改误拦截或记录有意排除前，应同时检查命中分组与具体规则。
- 结果只评估已发布 Robots.txt；防火墙、身份验证和爬虫自身行为仍可能阻止请求。
常见问题与下一步
修改误拦截或记录有意排除前，应同时检查命中分组与具体规则。
常见问题
这个工具检查什么？
工具加载源站 Robots.txt，选择最具体的 User-Agent 分组，再按最长规则匹配；同长度时 Allow 优先。
应该如何使用结果？
修改误拦截或记录有意排除前，应同时检查命中分组与具体规则。
这个工具有哪些限制？
结果只评估已发布 Robots.txt；防火墙、身份验证和爬虫自身行为仍可能阻止请求。