Robots.txt 生成器 - 沒有語法陷阱的爬蟲規則
robots.txt 中一行錯誤就能讓整個網站在 Google 面前隱藏——或者什麼都隱藏不了。在這裡構建它,帶常見情況的預設和對輸出的檢查。
如何使用 Robots.txt 生成器
- 選擇一個預設,或從允許一切開始並自定義。
- 為任何特定的爬蟲(例如 GPTBot)新增一個帶其自己規則的分組。
- 列出禁止和允許的路徑,每行一個——路徑以 / 開頭。
- 新增您的網站地圖 URL 並點選“生成”。
- 通讀理智檢查備註,然後把檔案放在 yourdomain.com/robots.txt。
它如何工作
robots.txt 檔案是一組分組:每個分組指明一個或多個 user-agent(爬蟲),其後是適用於它們的 Disallow 和 Allow 路徑規則。空的 Disallow 意味著一切都被允許; Disallow: / 為該代理阻止整個站點。規則按字首匹配,Google 也支援 Allow,以便從更廣泛的 Disallow 中開闢例外。這個生成器以標準格式發出組,附加 Sitemap 行,然後對自己的輸出進行健全性檢查:未知欄位、不以 / 開頭的路徑以及不是完整 URL 的站點地圖行都會被標記。請記住,robots.txt 是一個請求,而不是一把鎖——行為良好的爬蟲會遵守它,惡意的則可能不會,所以永遠不要依賴它來保護秘密。
常見問題
這個生成器免費嗎?
是的——完全免費,無需註冊。
robots.txt 放在哪裡?
位於您域名的根目錄:https://yourdomain.com/robots.txt——其他任何地方都不會被讀取。
robots.txt 會完全阻止頁面出現在搜尋結果中嗎?
它阻止的是抓取,而不是索引:一個被阻止的 URL 如果被其他網站連結到,仍然可能出現在結果中(沒有描述)。使用 noindex 標籤把一個頁面完全排除在外。
我可以遮蔽 AI 爬蟲嗎?
AI 預設新增了禁止 GPTBot、CCBot 和 Google-Extended 的組。合規的爬蟲會遵守它;它無法阻止無視 robots.txt 的抓取工具。
有任何東西被上傳嗎?
不會。生成和檢查在您的瀏覽器中執行。