Loona AutomationのロゴLoona 開発者ツール
ホーム › 開発者ツール › Robots.txt生成ツール

Robots.txt生成ツール - 構文の落とし穴のないクローラールール

要するに: Robots.txt生成ツールは、プリセットとエージェントごとのルールから有効なrobots.txtを構築します。クローラーごとの許可と拒否のパス、そしてあなたのサイトマップ行です。そして出荷する前に結果の健全性チェックを実行します。

robots.txtの一行の誤りで、サイト全体がGoogleから隠れたり、まったく何も隠れなかったりします。ここで構築してください。一般的なケースのプリセットと、出力のチェック付きです。

設計上プライベート: このツールのすべては、JavaScriptを使ってブラウザで100%行われます。あなたの入力はサーバーにアップロードされることは決してなく、保存されることも、私たちに見られることもありません。タブを閉じるとすべてが消えます。

Robots.txt生成ツールの使い方

  1. プリセットを選ぶか、「すべて許可」から始めてカスタマイズしてください。
  2. 特定のクローラー(例えば GPTBot)のために、独自のルールを持つグループを追加します。
  3. disallowとallowのパスを一行に一つずつ列挙してください。パスは / で始まります。
  4. サイトマップURLを追加して、「生成」をクリックしてください。
  5. 健全性チェックの注記を確認し、ファイルを yourdomain.com/robots.txt に置いてください。

仕組み

robots.txtファイルはグループの集合です。各グループは、一つ以上のユーザーエージェント(クローラー)を指定し、それに続いて、それらに適用される Disallow と Allow のパスルールを記述します。空の Disallow は、すべて許可されることを意味します; Disallow: / そのエージェントに対してサイト全体をブロックします。ルールは接頭辞でマッチングされ、Googleは、より広いDisallowから例外を切り出すAllowもサポートします。この生成ツールは標準形式でグループを出力し、Sitemap行を追加し、次に自身の出力を健全性チェックします。未知のフィールド、/ で始まらないパス、完全なURLでないサイトマップ行はすべてフラグが立てられます。robots.txtはロックではなくリクエストであることを忘れないでください。行儀の良いクローラーは従いますが、悪意のあるものは従わない場合があります。そのため、シークレットを保護するために決して頼らないでください。

よくある質問

この生成ツールは無料ですか?

はい - 完全に無料、登録不要。

robots.txt はどこに行きますか?

あなたのドメインのルート:https://yourdomain.com/robots.txt — 他の場所は読まれません。

robots.txtは、ページを検索結果から完全にブロックしますか?

これはクロールをブロックするもので、インデックスをブロックするものではありません。ブロックされたURLでも、他のサイトがリンクしていれば結果に(説明なしで)表示されることがあります。ページを完全に除外するにはnoindexタグを使ってください。

AIクローラーをブロックできますか?

AIプリセットは、GPTBot、CCBot、Google-Extendedを拒否するグループを追加します。準拠するクローラーはそれを尊重します。robots.txtを無視するスクレイパーを止めることはできません。

何かがアップロードされますか?

いいえ。生成とチェックはブラウザで実行されます。

関連する開発者ツール

このツールをあなたのウェブサイトに埋め込む — 無料

このツールをあなた自身のウェブサイトやブログに追加してください — 完全に無料で、登録は不要、常に最新バージョンが表示されます。下のコードをコピーして、ツールを表示したいページの場所に貼り付けてください。埋め込みの下にある小さな “Powered by Loona Automation” のクレジット行を残しておくことは、このツールを無料に保つ助けになります — しかし、スタイルを変更したり取り除いたりするのは自由です。ツールはどちらの場合でも動作します。