Robots.txt 測試器 - 允許還是阻止,以及確切原因
簡而言之: Robots.txt 測試器應用真正的匹配規則——最具體的使用者代理組,然後是最長的匹配路徑規則,Allow 在平局時獲勝——並顯示判決結果以及決定它的確切規則。
robots.txt 檔案容易寫,卻難以推理。本測試器針對給定的爬蟲和 URL 回答唯一重要的問題。
按設計保證隱私: 這個工具中的一切都 100% 在您的瀏覽器中使用 JavaScript 完成。您的輸入從不上傳到伺服器,從不儲存,我們也從不見過它——關閉標籤,一切都消失了。
如何使用 Robots.txt 測試器
- 貼上您的 robots.txt 內容。
- 輸入要測試的完整 URL 和 user-agent 名稱(Googlebot、GPTBot、*)。
- 點選“測試此 URL”。
- 閱讀判定結果和產生它的匹配規則。
它如何工作
匹配遵循標準(RFC 9309,按 Google 的實現):首先選擇爬蟲的分組——指明最具體的匹配 user-agent 標記的分組勝過 * 分組——然後,在該分組內,路徑模式與 URL 路徑匹配且最長的規則獲勝;平局時 Allow 勝過 Disallow。模式支援 * 作為萬用字元,以及尾隨的 $ 作為結尾錨點。空的 Disallow 不匹配任何東西,這正是單獨的 'Disallow:' 允許一切的原因。
常見問題
這個測試器免費嗎?
是的——完全免費,無需註冊。
它遵循哪些匹配規則?
RFC 9309 / Google 的實現:最具體的代理組、最長的匹配規則、平局時 Allow 勝出、支援 * 和 $ 模式。
我的 URL 在這裡被阻止,但在 Google 中被索引——為什麼?
Robots 阻止的是抓取,不是索引。被阻止的頁面仍然可以從連結中被索引,顯示時沒有描述。
它會獲取我線上的 robots.txt 嗎?
不會——請貼上內容。瀏覽器無法獲取任意網站的檔案(CORS),而且貼上還讓您能在釋出之前測試草稿。
有任何東西被上傳嗎?
不會。測試在您的瀏覽器中執行。