Loona Automation 標誌Loona 開發者工具
首頁 › 開發者工具 › Robots.txt 生成器

Robots.txt 生成器 - 沒有語法陷阱的爬蟲規則

簡而言之: Robots.txt 生成器從預設和每個代理的規則構建一個有效的 robots.txt——每個爬蟲的允許和禁止路徑,加上您的站點地圖行——並在您釋出結果之前對它進行健全性檢查。

robots.txt 中一行錯誤就能讓整個網站在 Google 面前隱藏——或者什麼都隱藏不了。在這裡構建它,帶常見情況的預設和對輸出的檢查。

按設計保證隱私: 這個工具中的一切都 100% 在您的瀏覽器中使用 JavaScript 完成。您的輸入從不上傳到伺服器,從不儲存,我們也從不見過它——關閉標籤,一切都消失了。

如何使用 Robots.txt 生成器

  1. 選擇一個預設,或從允許一切開始並自定義。
  2. 為任何特定的爬蟲(例如 GPTBot)新增一個帶其自己規則的分組。
  3. 列出禁止和允許的路徑,每行一個——路徑以 / 開頭。
  4. 新增您的網站地圖 URL 並點選“生成”。
  5. 通讀理智檢查備註,然後把檔案放在 yourdomain.com/robots.txt。

它如何工作

robots.txt 檔案是一組分組:每個分組指明一個或多個 user-agent(爬蟲),其後是適用於它們的 Disallow 和 Allow 路徑規則。空的 Disallow 意味著一切都被允許; Disallow: / 為該代理阻止整個站點。規則按字首匹配,Google 也支援 Allow,以便從更廣泛的 Disallow 中開闢例外。這個生成器以標準格式發出組,附加 Sitemap 行,然後對自己的輸出進行健全性檢查:未知欄位、不以 / 開頭的路徑以及不是完整 URL 的站點地圖行都會被標記。請記住,robots.txt 是一個請求,而不是一把鎖——行為良好的爬蟲會遵守它,惡意的則可能不會,所以永遠不要依賴它來保護秘密。

常見問題

這個生成器免費嗎?

是的——完全免費,無需註冊。

robots.txt 放在哪裡?

位於您域名的根目錄:https://yourdomain.com/robots.txt——其他任何地方都不會被讀取。

robots.txt 會完全阻止頁面出現在搜尋結果中嗎?

它阻止的是抓取,而不是索引:一個被阻止的 URL 如果被其他網站連結到,仍然可能出現在結果中(沒有描述)。使用 noindex 標籤把一個頁面完全排除在外。

我可以遮蔽 AI 爬蟲嗎?

AI 預設新增了禁止 GPTBot、CCBot 和 Google-Extended 的組。合規的爬蟲會遵守它;它無法阻止無視 robots.txt 的抓取工具。

有任何東西被上傳嗎?

不會。生成和檢查在您的瀏覽器中執行。

相關開發者工具

把本工具嵌入您的網站 — 免費

把本工具新增到您自己的網站或部落格——它完全免費,無需註冊,並且始終顯示最新版本。複製下面的程式碼,貼上到您希望工具出現的頁面位置。在嵌入下方保留那一行小小的 “Powered by Loona Automation” 署名,有助於讓本工具保持免費 — 但您可以自由地設定它的樣式或刪除它;無論哪種方式工具都能工作。