Robots.txtテスター - 許可かブロックか、そして正確な理由
robots.txtファイルは、書くのは簡単で、推論するのは難しいファイルです。このテスターは、特定のクローラーとURLについて、唯一重要な問いに答えます。
Robots.txtテスターの使い方
- robots.txtの内容を貼り付けてください。
- テストする完全なURLとユーザーエージェント名(Googlebot、GPTBot、*)を入力してください。
- 「このURLをテスト」をクリックしてください。
- 判定と、それを生んだマッチングルールを読み取ってください。
仕組み
マッチングは標準(RFC 9309、Googleの実装どおり)に従います。まずクローラーのグループが選ばれます。最も具体的なマッチするユーザーエージェントトークンを名付けるグループが * グループに勝ちます。次に、そのグループ内で、パスパターンがURLのパスにマッチし、最も長いルールが勝ちます。同点の場合はAllowがDisallowに勝ちます。パターンはワイルドカードとしての * と、末尾アンカーとしての末尾の $ をサポートします。空のDisallowは何にもマッチしないため、「Disallow:」だけですべてが許可されます。
よくある質問
このテスターは無料ですか?
はい - 完全に無料、登録不要。
どのマッチングルールに従いますか?
RFC 9309 / Googleの実装:最も具体的なエージェントグループ、最長一致ルール、同点ではAllowが勝利、* と $ のパターンをサポート。
私のURLはここではブロックされていますが、Googleにはインデックスされています。なぜですか?
Robotsはクロールをブロックし、インデックスはブロックしません。ブロックされたページでも、リンクからインデックスされ、説明なしで表示されることがあります。
私のライブな robots.txt を取得しますか?
いいえ。内容を貼り付けてください。ブラウザは任意のサイトのファイルを取得できません(CORS)。貼り付けにより、公開前に下書きをテストすることもできます。
何かがアップロードされますか?
いいえ。テストはブラウザで実行されます。