Loona AutomationのロゴLoona 開発者ツール
ホーム › 開発者ツール › Robots.txtテスター

Robots.txtテスター - 許可かブロックか、そして正確な理由

要するに: Robots.txtテスターは実際のマッチングルールを適用します。最も具体的なユーザーエージェントグループ、次に最も長くマッチするパスルールで、同点の場合はAllowが勝ちます。そして判定と、それを決定した正確なルールを表示します。

robots.txtファイルは、書くのは簡単で、推論するのは難しいファイルです。このテスターは、特定のクローラーとURLについて、唯一重要な問いに答えます。

設計上プライベート: このツールのすべては、JavaScriptを使ってブラウザで100%行われます。あなたの入力はサーバーにアップロードされることは決してなく、保存されることも、私たちに見られることもありません。タブを閉じるとすべてが消えます。

Robots.txtテスターの使い方

  1. robots.txtの内容を貼り付けてください。
  2. テストする完全なURLとユーザーエージェント名(Googlebot、GPTBot、*)を入力してください。
  3. 「このURLをテスト」をクリックしてください。
  4. 判定と、それを生んだマッチングルールを読み取ってください。

仕組み

マッチングは標準(RFC 9309、Googleの実装どおり)に従います。まずクローラーのグループが選ばれます。最も具体的なマッチするユーザーエージェントトークンを名付けるグループが * グループに勝ちます。次に、そのグループ内で、パスパターンがURLのパスにマッチし、最も長いルールが勝ちます。同点の場合はAllowがDisallowに勝ちます。パターンはワイルドカードとしての * と、末尾アンカーとしての末尾の $ をサポートします。空のDisallowは何にもマッチしないため、「Disallow:」だけですべてが許可されます。

よくある質問

このテスターは無料ですか?

はい - 完全に無料、登録不要。

どのマッチングルールに従いますか?

RFC 9309 / Googleの実装:最も具体的なエージェントグループ、最長一致ルール、同点ではAllowが勝利、* と $ のパターンをサポート。

私のURLはここではブロックされていますが、Googleにはインデックスされています。なぜですか?

Robotsはクロールをブロックし、インデックスはブロックしません。ブロックされたページでも、リンクからインデックスされ、説明なしで表示されることがあります。

私のライブな robots.txt を取得しますか?

いいえ。内容を貼り付けてください。ブラウザは任意のサイトのファイルを取得できません(CORS)。貼り付けにより、公開前に下書きをテストすることもできます。

何かがアップロードされますか?

いいえ。テストはブラウザで実行されます。

関連する開発者ツール

このツールをあなたのウェブサイトに埋め込む — 無料

このツールをあなた自身のウェブサイトやブログに追加してください — 完全に無料で、登録は不要、常に最新バージョンが表示されます。下のコードをコピーして、ツールを表示したいページの場所に貼り付けてください。埋め込みの下にある小さな “Powered by Loona Automation” のクレジット行を残しておくことは、このツールを無料に保つ助けになります — しかし、スタイルを変更したり取り除いたりするのは自由です。ツールはどちらの場合でも動作します。