Loona Automation 标志Loona 开发者工具
首页 › 开发者工具 › Robots.txt 测试器

Robots.txt 测试器 - 允许还是阻止,以及确切原因

简而言之: Robots.txt 测试器应用真正的匹配规则——最具体的用户代理组,然后是最长的匹配路径规则,Allow 在平局时获胜——并显示判决结果以及决定它的确切规则。

robots.txt 文件容易写,却难以推理。本测试器针对给定的爬虫和 URL 回答唯一重要的问题。

按设计保证隐私: 这个工具中的一切都 100% 在您的浏览器中使用 JavaScript 完成。您的输入从不上传到服务器,从不存储,我们也从不见过它——关闭标签,一切都消失了。

如何使用 Robots.txt 测试器

  1. 粘贴您的 robots.txt 内容。
  2. 输入要测试的完整 URL 和 user-agent 名称(Googlebot、GPTBot、*)。
  3. 点击“测试此 URL”。
  4. 阅读判定结果和产生它的匹配规则。

它如何工作

匹配遵循标准(RFC 9309,按 Google 的实现):首先选择爬虫的分组——指明最具体的匹配 user-agent 标记的分组胜过 * 分组——然后,在该分组内,路径模式与 URL 路径匹配且最长的规则获胜;平局时 Allow 胜过 Disallow。模式支持 * 作为通配符,以及尾随的 $ 作为结尾锚点。空的 Disallow 不匹配任何东西,这正是单独的 'Disallow:' 允许一切的原因。

常见问题

这个测试器免费吗?

是的——完全免费,无需注册。

它遵循哪些匹配规则?

RFC 9309 / Google 的实现:最具体的代理组、最长的匹配规则、平局时 Allow 胜出、支持 * 和 $ 模式。

我的 URL 在这里被阻止,但在 Google 中被索引——为什么?

Robots 阻止的是抓取,不是索引。被阻止的页面仍然可以从链接中被索引,显示时没有描述。

它会获取我在线的 robots.txt 吗?

不会——请粘贴内容。浏览器无法获取任意网站的文件(CORS),而且粘贴还让您能在发布之前测试草稿。

有任何东西被上传吗?

不会。测试在您的浏览器中运行。

相关开发者工具

把本工具嵌入您的网站 — 免费

把本工具添加到您自己的网站或博客——它完全免费,无需注册,并且始终显示最新版本。复制下面的代码,粘贴到您希望工具出现的页面位置。在嵌入下方保留那一行小小的 “Powered by Loona Automation” 署名,有助于让本工具保持免费 — 但您可以自由地设置它的样式或删除它;无论哪种方式工具都能工作。