Easy Converter

robots.txt 生成器

生成规范的 robots.txt:按 bot 设置规则、sitemap、allow/disallow,带可视化校验。

使用方法

  1. 1

    模板

    开放、屏蔽 staging 或选择性访问。

  2. 2

    下载

    放到 /robots.txt。

技术细节

robots.txt 告诉爬虫哪些部分可被索引 (RFC 9309)。

User-agent、Allow、Disallow 和 Sitemap 指令被所有主流搜索引擎理解。

常见问题

放哪里?
域名根目录。
全部允许?
User-agent: *, Allow: /。
Google 遵守吗?
是。
审核:Easy Converter 工程团队

本工具由我们的工程团队测试并校准。所有处理均在本地浏览器完成。