Robots.txt 生成工具
快速创建符合搜索引擎规范的 robots.txt 文件，控制爬虫访问权限，优化网站 SEO
⚙️
配置选项
用于生成 Sitemap 地址，留空则不生成
建议设置为 1-10 秒，避免对服务器造成过大压力
使用通配符 * 和 $，例如：/*.pdf$ 表示禁止所有 PDF 文件
在禁止路径中特别允许的例外路径
📝
WordPress
🛒
电商网站
✍️
博客
🏢
企业官网
👁️
实时预览
# 点击"生成 Robots.txt"按钮查看结果
💡 Robots.txt 最佳实践
- 不要使用 robots.txt 隐藏敏感信息
- 定期检查和更新规则
- 使用 Google Search Console 测试
- 保持文件简洁，避免过度复杂
- Sitemap 地址使用完整 URL
📖 工具说明
- robots.txt 是网站根目录下的文本文件，用于告诉搜索引擎哪些内容可以抓取，哪些需要限制
- 本工具支持可视化配置搜索引擎访问规则、目录限制和 Sitemap 信息
- 生成的 robots.txt 文件需放置在网站根目录才能生效
- 不同搜索引擎可能对 Crawl-delay 指令支持不同，实际效果以搜索引擎官方说明为准
❓ 常见问题
Q: 如何禁止所有搜索引擎抓取某个目录？
A: 在"目录限制"区域添加规则，选择"Disallow"并输入目录路径（如"/admin/"）
Q: 为什么设置了Crawl-delay但没有效果？
A: 部分搜索引擎（如Google）不支持 Crawl-delay 指令，建议通过 Google Search Console 设置抓取频率
Q: 可以添加多个Sitemap吗？
A: 可以，每个 Sitemap URL 单独占一行即可
Q: 工具生成的代码是否需要手动修改？
A: 无需手动修改，生成的代码符合 robots.txt 标准语法，可直接使用