关于robots.txt 生成
robots.txt生成器在线生成robots.txt文件，控制搜索引擎爬虫抓取规则。允许/禁止特定路径、指定Sitemap、设置抓取延迟，网站SEO基础配置必备。
使用方法
- 选择要允许/禁止的爬虫
- 添加允许/禁止路径规则
- 可选设置Sitemap URL和抓取延迟
- 下载robots.txt放到网站根目录
常见问题
- robots.txt能完全阻止爬虫吗？
- 不能。robots.txt是君子协议，正规爬虫遵守但恶意爬虫会忽略。真正保护敏感内容需用密码验证或IP白名单。
- Allow和Disallow冲突怎么办？
- 更具体的规则优先。Disallow: /admin/ 和 Allow: /admin/public/ 同时存在时，public子目录允许，其他admin路径禁止。
- 什么路径应该禁止爬取？
- 后台管理(/admin/)、用户隐私页(/user/)、重复内容(/print-version/)、临时页面(/temp/)、搜索结果页(?search=)。允许主要内容页以便索引。