Loona Automation 标志Loona 开发者工具
首页 › 开发者工具 › Robots.txt 生成器

Robots.txt 生成器 - 没有语法陷阱的爬虫规则

简而言之: Robots.txt 生成器从预设和每个代理的规则构建一个有效的 robots.txt——每个爬虫的允许和禁止路径,加上您的站点地图行——并在您发布结果之前对它进行健全性检查。

robots.txt 中一行错误就能让整个网站在 Google 面前隐藏——或者什么都隐藏不了。在这里构建它,带常见情况的预设和对输出的检查。

按设计保证隐私: 这个工具中的一切都 100% 在您的浏览器中使用 JavaScript 完成。您的输入从不上传到服务器,从不存储,我们也从不见过它——关闭标签,一切都消失了。

如何使用 Robots.txt 生成器

  1. 选择一个预设,或从允许一切开始并自定义。
  2. 为任何特定的爬虫(例如 GPTBot)添加一个带其自己规则的分组。
  3. 列出禁止和允许的路径,每行一个——路径以 / 开头。
  4. 添加您的网站地图 URL 并点击“生成”。
  5. 通读理智检查备注,然后把文件放在 yourdomain.com/robots.txt。

它如何工作

robots.txt 文件是一组分组:每个分组指明一个或多个 user-agent(爬虫),其后是适用于它们的 Disallow 和 Allow 路径规则。空的 Disallow 意味着一切都被允许; Disallow: / 为该代理阻止整个站点。规则按前缀匹配,Google 也支持 Allow,以便从更广泛的 Disallow 中开辟例外。这个生成器以标准格式发出组,附加 Sitemap 行,然后对自己的输出进行健全性检查:未知字段、不以 / 开头的路径以及不是完整 URL 的站点地图行都会被标记。请记住,robots.txt 是一个请求,而不是一把锁——行为良好的爬虫会遵守它,恶意的则可能不会,所以永远不要依赖它来保护秘密。

常见问题

这个生成器免费吗?

是的——完全免费,无需注册。

robots.txt 放在哪里?

位于您域名的根目录:https://yourdomain.com/robots.txt——其他任何地方都不会被读取。

robots.txt 会完全阻止页面出现在搜索结果中吗?

它阻止的是抓取,而不是索引:一个被阻止的 URL 如果被其他网站链接到,仍然可能出现在结果中(没有描述)。使用 noindex 标签把一个页面完全排除在外。

我可以屏蔽 AI 爬虫吗?

AI 预设添加了禁止 GPTBot、CCBot 和 Google-Extended 的组。合规的爬虫会遵守它;它无法阻止无视 robots.txt 的抓取工具。

有任何东西被上传吗?

不会。生成和检查在您的浏览器中运行。

相关开发者工具

把本工具嵌入您的网站 — 免费

把本工具添加到您自己的网站或博客——它完全免费,无需注册,并且始终显示最新版本。复制下面的代码,粘贴到您希望工具出现的页面位置。在嵌入下方保留那一行小小的 “Powered by Loona Automation” 署名,有助于让本工具保持免费 — 但您可以自由地设置它的样式或删除它;无论哪种方式工具都能工作。