Robots.txt 测试器 - 允许还是阻止,以及确切原因
简而言之: Robots.txt 测试器应用真正的匹配规则——最具体的用户代理组,然后是最长的匹配路径规则,Allow 在平局时获胜——并显示判决结果以及决定它的确切规则。
robots.txt 文件容易写,却难以推理。本测试器针对给定的爬虫和 URL 回答唯一重要的问题。
按设计保证隐私: 这个工具中的一切都 100% 在您的浏览器中使用 JavaScript 完成。您的输入从不上传到服务器,从不存储,我们也从不见过它——关闭标签,一切都消失了。
如何使用 Robots.txt 测试器
- 粘贴您的 robots.txt 内容。
- 输入要测试的完整 URL 和 user-agent 名称(Googlebot、GPTBot、*)。
- 点击“测试此 URL”。
- 阅读判定结果和产生它的匹配规则。
它如何工作
匹配遵循标准(RFC 9309,按 Google 的实现):首先选择爬虫的分组——指明最具体的匹配 user-agent 标记的分组胜过 * 分组——然后,在该分组内,路径模式与 URL 路径匹配且最长的规则获胜;平局时 Allow 胜过 Disallow。模式支持 * 作为通配符,以及尾随的 $ 作为结尾锚点。空的 Disallow 不匹配任何东西,这正是单独的 'Disallow:' 允许一切的原因。
常见问题
这个测试器免费吗?
是的——完全免费,无需注册。
它遵循哪些匹配规则?
RFC 9309 / Google 的实现:最具体的代理组、最长的匹配规则、平局时 Allow 胜出、支持 * 和 $ 模式。
我的 URL 在这里被阻止,但在 Google 中被索引——为什么?
Robots 阻止的是抓取,不是索引。被阻止的页面仍然可以从链接中被索引,显示时没有描述。
它会获取我在线的 robots.txt 吗?
不会——请粘贴内容。浏览器无法获取任意网站的文件(CORS),而且粘贴还让您能在发布之前测试草稿。
有任何东西被上传吗?
不会。测试在您的浏览器中运行。