Loona Automation 標誌Loona 開發者工具
首頁 › 開發者工具 › Robots.txt 測試器

Robots.txt 測試器 - 允許還是阻止,以及確切原因

簡而言之: Robots.txt 測試器應用真正的匹配規則——最具體的使用者代理組,然後是最長的匹配路徑規則,Allow 在平局時獲勝——並顯示判決結果以及決定它的確切規則。

robots.txt 檔案容易寫,卻難以推理。本測試器針對給定的爬蟲和 URL 回答唯一重要的問題。

按設計保證隱私: 這個工具中的一切都 100% 在您的瀏覽器中使用 JavaScript 完成。您的輸入從不上傳到伺服器,從不儲存,我們也從不見過它——關閉標籤,一切都消失了。

如何使用 Robots.txt 測試器

  1. 貼上您的 robots.txt 內容。
  2. 輸入要測試的完整 URL 和 user-agent 名稱(Googlebot、GPTBot、*)。
  3. 點選“測試此 URL”。
  4. 閱讀判定結果和產生它的匹配規則。

它如何工作

匹配遵循標準(RFC 9309,按 Google 的實現):首先選擇爬蟲的分組——指明最具體的匹配 user-agent 標記的分組勝過 * 分組——然後,在該分組內,路徑模式與 URL 路徑匹配且最長的規則獲勝;平局時 Allow 勝過 Disallow。模式支援 * 作為萬用字元,以及尾隨的 $ 作為結尾錨點。空的 Disallow 不匹配任何東西,這正是單獨的 'Disallow:' 允許一切的原因。

常見問題

這個測試器免費嗎?

是的——完全免費,無需註冊。

它遵循哪些匹配規則?

RFC 9309 / Google 的實現:最具體的代理組、最長的匹配規則、平局時 Allow 勝出、支援 * 和 $ 模式。

我的 URL 在這裡被阻止,但在 Google 中被索引——為什麼?

Robots 阻止的是抓取,不是索引。被阻止的頁面仍然可以從連結中被索引,顯示時沒有描述。

它會獲取我線上的 robots.txt 嗎?

不會——請貼上內容。瀏覽器無法獲取任意網站的檔案(CORS),而且貼上還讓您能在釋出之前測試草稿。

有任何東西被上傳嗎?

不會。測試在您的瀏覽器中執行。

相關開發者工具

把本工具嵌入您的網站 — 免費

把本工具新增到您自己的網站或部落格——它完全免費,無需註冊,並且始終顯示最新版本。複製下面的程式碼,貼上到您希望工具出現的頁面位置。在嵌入下方保留那一行小小的 “Powered by Loona Automation” 署名,有助於讓本工具保持免費 — 但您可以自由地設定它的樣式或刪除它;無論哪種方式工具都能工作。