规则、Sitemap 与 AI 爬虫
Robots.txt 生成器
选择爬虫可访问的范围，查看风险规则提示，并下载可直接上传的文件。
在浏览器中运行数据不会上传
输入
试试示例
每行一个路径，例如 /admin/
输出
robots.txt
User-agent: *
Disallow:
保存为 robots.txt 并放在域名根目录，例如 https://example.com/robots.txt
检查结果
- 建议：添加 Sitemap 地址，方便爬虫发现
免费使用 无需注册 在浏览器本地运行
检查robots.txt 抓取规则
按有效的 User-agent 分组生成文件，并标出未以斜杠开头的路径、被屏蔽的 CSS 或 JavaScript、相对 Sitemap 地址和过于宽泛的全站屏蔽。
读懂检查结果
将文件上传到域名根目录，并在依赖新规则前，用重要 URL 进行测试。
确定修复优先级
robots.txt 只是请求而非访问控制：遵守规则的爬虫会照做，但它不能隐藏或移除已被收录的页面。
如何理解robots.txt 抓取规则
按有效的 User-agent 分组生成文件，并标出未以斜杠开头的路径、被屏蔽的 CSS 或 JavaScript、相对 Sitemap 地址和过于宽泛的全站屏蔽。
这项检查的限制
robots.txt 只是请求而非访问控制：遵守规则的爬虫会照做，但它不能隐藏或移除已被收录的页面。
常见问题
这个工具检查什么？
按有效的 User-agent 分组生成文件，并标出未以斜杠开头的路径、被屏蔽的 CSS 或 JavaScript、相对 Sitemap 地址和过于宽泛的全站屏蔽。
应该如何使用结果？
将文件上传到域名根目录，并在依赖新规则前，用重要 URL 进行测试。
这个工具有哪些限制？
robots.txt 只是请求而非访问控制：遵守规则的爬虫会照做，但它不能隐藏或移除已被收录的页面。