robots.txt 生成
可视化生成 robots.txt，支持禁止目录、Sitemap 声明与常见 CMS 预设。
robots.txt 生成是做什么的
上线新站要告诉搜索引擎哪些能抓、哪些不能抓，手写 robots.txt 容易漏 User-agent 或出语法错。勾选爬虫、填入禁止路径即可实时生成规范文件，内置全站禁止等四个常用预设，可下载后直接放根目录。
核心功能
- 支持 Googlebot、Baiduspider 等六种爬虫
- 内置全站禁止等四个预设方案
- 支持 Allow 白名单与 Sitemap 声明
- 可复制或直接下载 robots.txt 文件
robots.txt 生成怎么用
勾选要禁止的目录或爬虫，填写 Sitemap 地址，实时生成规范文件，复制后放到网站根目录即可。
- 选择面向的爬虫，默认所有爬虫
- 在禁止路径框每行填一条目录或通配
- 需要例外时在允许路径框填写白名单
- 点复制或下载，把文件放到网站根目录
适合这些场景
- 新站上线前配置抓取规则
- 屏蔽后台目录与搜索页收录
- 测试环境临时禁止全站抓取
常见问题
Disallow: / 是什么意思？
表示禁止抓取全站，通常只用于上线前的测试环境，正式环境误用会导致搜索引擎不收录，务必及时改回。
禁止了就一定不收录吗？
Disallow 只是不再抓取，若外部链接指向被禁页面，搜索引擎仍可能只展示网址不展示摘要；要彻底移除需配合 noindex。
Allow 和 Disallow 冲突听谁的？
匹配更具体也就是更长的规则优先，因此可先 Allow 放行后台里的公开页，再用 Disallow 屏蔽整个目录。
Sitemap 行有什么用？
告诉爬虫站点地图的位置，帮助发现新页面；不是协议必填项，但没有它搜索引擎发现内容会更慢。