Robots.txt 生成器 - 没有语法陷阱的爬虫规则
robots.txt 中一行错误就能让整个网站在 Google 面前隐藏——或者什么都隐藏不了。在这里构建它,带常见情况的预设和对输出的检查。
如何使用 Robots.txt 生成器
- 选择一个预设,或从允许一切开始并自定义。
- 为任何特定的爬虫(例如 GPTBot)添加一个带其自己规则的分组。
- 列出禁止和允许的路径,每行一个——路径以 / 开头。
- 添加您的网站地图 URL 并点击“生成”。
- 通读理智检查备注,然后把文件放在 yourdomain.com/robots.txt。
它如何工作
robots.txt 文件是一组分组:每个分组指明一个或多个 user-agent(爬虫),其后是适用于它们的 Disallow 和 Allow 路径规则。空的 Disallow 意味着一切都被允许; Disallow: / 为该代理阻止整个站点。规则按前缀匹配,Google 也支持 Allow,以便从更广泛的 Disallow 中开辟例外。这个生成器以标准格式发出组,附加 Sitemap 行,然后对自己的输出进行健全性检查:未知字段、不以 / 开头的路径以及不是完整 URL 的站点地图行都会被标记。请记住,robots.txt 是一个请求,而不是一把锁——行为良好的爬虫会遵守它,恶意的则可能不会,所以永远不要依赖它来保护秘密。
常见问题
这个生成器免费吗?
是的——完全免费,无需注册。
robots.txt 放在哪里?
位于您域名的根目录:https://yourdomain.com/robots.txt——其他任何地方都不会被读取。
robots.txt 会完全阻止页面出现在搜索结果中吗?
它阻止的是抓取,而不是索引:一个被阻止的 URL 如果被其他网站链接到,仍然可能出现在结果中(没有描述)。使用 noindex 标签把一个页面完全排除在外。
我可以屏蔽 AI 爬虫吗?
AI 预设添加了禁止 GPTBot、CCBot 和 Google-Extended 的组。合规的爬虫会遵守它;它无法阻止无视 robots.txt 的抓取工具。
有任何东西被上传吗?
不会。生成和检查在您的浏览器中运行。