Robots.txt生成ツール - 構文の落とし穴のないクローラールール
robots.txtの一行の誤りで、サイト全体がGoogleから隠れたり、まったく何も隠れなかったりします。ここで構築してください。一般的なケースのプリセットと、出力のチェック付きです。
Robots.txt生成ツールの使い方
- プリセットを選ぶか、「すべて許可」から始めてカスタマイズしてください。
- 特定のクローラー(例えば GPTBot)のために、独自のルールを持つグループを追加します。
- disallowとallowのパスを一行に一つずつ列挙してください。パスは / で始まります。
- サイトマップURLを追加して、「生成」をクリックしてください。
- 健全性チェックの注記を確認し、ファイルを yourdomain.com/robots.txt に置いてください。
仕組み
robots.txtファイルはグループの集合です。各グループは、一つ以上のユーザーエージェント(クローラー)を指定し、それに続いて、それらに適用される Disallow と Allow のパスルールを記述します。空の Disallow は、すべて許可されることを意味します; Disallow: / そのエージェントに対してサイト全体をブロックします。ルールは接頭辞でマッチングされ、Googleは、より広いDisallowから例外を切り出すAllowもサポートします。この生成ツールは標準形式でグループを出力し、Sitemap行を追加し、次に自身の出力を健全性チェックします。未知のフィールド、/ で始まらないパス、完全なURLでないサイトマップ行はすべてフラグが立てられます。robots.txtはロックではなくリクエストであることを忘れないでください。行儀の良いクローラーは従いますが、悪意のあるものは従わない場合があります。そのため、シークレットを保護するために決して頼らないでください。
よくある質問
この生成ツールは無料ですか?
はい - 完全に無料、登録不要。
robots.txt はどこに行きますか?
あなたのドメインのルート:https://yourdomain.com/robots.txt — 他の場所は読まれません。
robots.txtは、ページを検索結果から完全にブロックしますか?
これはクロールをブロックするもので、インデックスをブロックするものではありません。ブロックされたURLでも、他のサイトがリンクしていれば結果に(説明なしで)表示されることがあります。ページを完全に除外するにはnoindexタグを使ってください。
AIクローラーをブロックできますか?
AIプリセットは、GPTBot、CCBot、Google-Extendedを拒否するグループを追加します。準拠するクローラーはそれを尊重します。robots.txtを無視するスクレイパーを止めることはできません。
何かがアップロードされますか?
いいえ。生成とチェックはブラウザで実行されます。