robots.txt 生成工具 — 免费且私密，在浏览器中运行
为你的网站创建有效的 robots.txt — 即时完成，不上传任何内容。
本工具完全在你的浏览器中运行。你的文件绝不上传——它们始终保留在你的设备上。
robots.txt
User-agent: * Disallow:
robots.txt 文件告诉搜索引擎和其他爬虫，它们可以访问你网站的哪些部分。把它写对很重要：一条放错的规则就可能让你的整个网站对 Google 隐身，或暴露你本想排除在索引之外的页面。
这款生成器会随你输入构建文件，让你清楚看到每条规则的作用。一切都在你的浏览器中进行 — 没有任何数据被发送到任何地方 — 等内容满意后，你可以复制结果，或将其下载为 robots.txt。
如何使用 robots.txt 生成工具
- 设置规则适用的 user-agent（用 * 表示所有爬虫）。
- 添加你想要 Disallow 的路径，并可选地添加任何要 Allow 的路径。
- 可选地添加 crawl-delay 和你的 sitemap URL。
- 查看实时预览，然后复制它，或将其下载为 robots.txt。
- 把文件上传到你网站的根目录，例如 example.com/robots.txt。
常见问题
有任何内容会被上传或发送到服务器吗？
不会。robots.txt 文本会随你输入完全在你的浏览器中构建。你输入的任何内容都不会被上传、存储或分享。
robots.txt 文件应该放在哪里？
它必须位于你域名的根目录，可通过 https://yourdomain.com/robots.txt 访问。爬虫不会在子文件夹中寻找它。
“Disallow: /”有什么作用？
Disallow 单个斜杠会对该 user-agent 屏蔽整个网站。如果你希望所有内容都被抓取，请把 Disallow 路径留空（或使用“Allow: /”）。
robots.txt 能让页面彻底不出现在 Google 中吗？
不一定。它请求行为规范的爬虫不要抓取某个路径，但被屏蔽的 URL 如果在别处被链接，仍可能被索引。要可靠地让某个页面不出现在搜索结果中，请使用 noindex 元标签或 HTTP 头。
我应该添加一行 sitemap 吗？
这是可选的，但建议添加。一行 Sitemap 会把爬虫指向你的 XML 站点地图，帮助它们更快地发现你的页面。