robots.txt 生成
生成 robots.txt：允许/禁止爬虫规则与 Sitemap 声明一键生成。
纯浏览器本地运行，数据不上传服务器
计算结果
等待输入…
通常 * 表示所有爬虫；百度需单独配置 Baiduspider。
使用说明
- 填写规则，点击“计算”。
- 输出 robots.txt 内容，保存到网站根目录。
- 禁止敏感路径被收录，声明 Sitemap 引导抓取。
常见问题
Disallow 和 Allow 优先级？
同一 User-agent 下按规则长度匹配，更具体的路径优先；大部分爬虫遵循“最长匹配”。
可以屏蔽所有爬虫吗？
可以（Disallow: /），但也会屏蔽搜索引擎收录；正式站点不建议。