指定 URL 爬虫权限测试
Robots.txt URL 测试器
判断指定爬虫是否可以抓取某个路径，并定位实际命中的规则。
免费使用 无需注册
检查单个 URL 的 Robots.txt 权限
工具加载源站 Robots.txt，选择最具体的 User-Agent 分组，再按最长规则匹配；同长度时 Allow 优先。
读懂检查结果
修改误拦截或记录有意排除前，应同时检查命中分组与具体规则。
确定修复优先级
结果只评估已发布 Robots.txt；防火墙、身份验证和爬虫自身行为仍可能阻止请求。
如何理解单个 URL 的 Robots.txt 权限
工具加载源站 Robots.txt，选择最具体的 User-Agent 分组，再按最长规则匹配；同长度时 Allow 优先。
这项检查的限制
结果只评估已发布 Robots.txt；防火墙、身份验证和爬虫自身行为仍可能阻止请求。
常见问题
这个工具检查什么？
工具加载源站 Robots.txt，选择最具体的 User-Agent 分组，再按最长规则匹配；同长度时 Allow 优先。
应该如何使用结果？
修改误拦截或记录有意排除前，应同时检查命中分组与具体规则。
这个工具有哪些限制？
结果只评估已发布 Robots.txt；防火墙、身份验证和爬虫自身行为仍可能阻止请求。