输入
User-agent
Allow 路径
Disallow 路径
Sitemap 地址
结果
User-agent: *
Allow: /
Disallow: /admin
Sitemap: https://www.clis.cc/sitemap.xml

robots.txt 生成器

robots.txt 生成器支持根据 User-agent、Allow、Disallow 和 Sitemap 生成基础爬虫规则。

robots.txt 生成器是什么

robots.txt 生成器用于生成基础搜索引擎爬虫规则。站点上线时，robots.txt 可以告诉爬虫哪些路径允许抓取、哪些路径建议不要抓取，并声明 Sitemap 地址。

输入 User-agent、Allow、Disallow 和 Sitemap 后，工具会输出标准文本。它适合个人站、工具站、文档站、企业官网和内容站快速准备基础爬虫配置。

核心功能

  • 支持设置 User-agent。
  • 支持生成 Allow 和 Disallow 规则。
  • 支持追加 Sitemap 地址。
  • 输出标准 robots.txt 文本，可直接复制。

适用场景

新站上线前创建基础 robots.txt。

屏蔽后台、管理页、测试页等不希望被抓取的路径。

为搜索引擎提供 Sitemap 地址，辅助发现页面。

使用建议

robots.txt 是爬虫协议提示，不是访问权限控制，敏感页面仍需服务端鉴权。

上线前建议确认规则不会误屏蔽重要 SEO 页面。

常见问题

robots.txt 生成器会上传输入内容吗？

不会。当前工具的计算、解析和转换逻辑都在浏览器本地完成，适合处理临时文本、配置片段和调试数据。

robots.txt 生成器的结果可以直接用于线上吗？

多数结果可以作为日常开发、排版和配置参考；如果涉及生产环境、财务金额、SEO 策略或安全规则，建议结合实际业务规范再复核。