robots.txtでAIクローラーを許可・拒否する方法｜GPTBot・ClaudeBot・Google-Extendedの違い
「自分のブログの記事が、AIの学習に使われるのは避けたい。でも、ChatGPTやGoogleのAI検索で紹介されるのは歓迎したい」。AI検索が広がるなかで、こんな悩みを持つ人が増えています。
こうした希望は、サイトのルート直下に置く「robots.txt」で、ある程度コントロールできます。ポイントは、AIのボットには「学習用」「検索用」「ユーザーの操作に応じて動くもの」という役割の違いがあり、それぞれ別々に設定できることです。この記事では、OpenAI・Anthropic・Googleの公式情報をもとに、違いと設定方法をWordPressの例で整理します。
※2026年11月1日時点で、OpenAI・Anthropic・Googleの公式ドキュメントを確認してまとめています。ボットの名前や仕様は変わることがあるため、設定前に公式ページもご確認ください。
先に結論：まず押さえておきたい4つのこと
- AIのボットは「目的」で分けて考える：学習用、検索用、ユーザー操作用では、拒否したときの影響がまったく違います。
- 検索用のボットまで拒否すると、AIの検索回答に出にくくなる：OpenAIの公式ドキュメントでは、OAI-SearchBotを拒否するとChatGPTの検索回答に表示されないと説明されています（ナビゲーション用のリンクとしては表示されうるとも書かれています）。
- Googleの「Google-Extended」は、Google検索の順位や掲載には影響しない：Googleの公式ドキュメントにそう明記されています。
- WordPressなら、AIOSEOで設定できる：ただし用意されているのは一部のボットだけなので、ClaudeBotなどは自分でルールを追加します。
AIのボットは3つの役割に分けて考える
各社のボットは、大きく次の3つの役割に分かれています。
| 役割 | OpenAI | Anthropic | 拒否したときの影響 |
|---|---|---|---|
| 学習用 | GPTBot | ClaudeBot | サイトのコンテンツを、今後の生成AIモデルの学習に使わないよう求める |
| 検索用 | OAI-SearchBot | Claude-SearchBot | AIの検索機能に表示されにくくなる（OpenAIはChatGPTの検索回答に表示されない、Anthropicは表示や正確さが下がる可能性があると説明） |
| ユーザー操作用 | ChatGPT-User | Claude-User | Anthropicは、ユーザーの質問に応じたページ取得ができなくなり、露出が減る可能性があると説明。OpenAIのChatGPT-Userは、robots.txtが適用されない場合がある |
※出典：OpenAI「Overview of OpenAI Crawlers」、Anthropic「Does Anthropic crawl data from the web, and how can site owners block the crawler?」の記載をもとに整理。
OpenAIの場合
OpenAIの公式ドキュメントには、各設定は互いに独立していると書かれています。たとえば、OAI-SearchBotは許可してGPTBotだけを拒否する、という使い分けができます。
- OAI-SearchBot：検索用です。拒否すると、ChatGPTの検索回答にサイトが表示されません（ナビゲーション用のリンクとしては表示されうるとされています）。検索に載せたい場合は、robots.txtで許可しておくことが推奨されています。
- GPTBot：基盤モデルの学習に使われうるコンテンツを集めるボットです。拒否すると、そのコンテンツを生成AIの学習に使わないよう伝えられます。
- ChatGPT-User：ユーザーの操作に応じてページを訪問するもので、自動でウェブをクロールするものではないとされています。そのため、robots.txtのルールが適用されない場合がある、とも書かれています。検索からのオプトアウトを管理するには、OAI-SearchBotを使うよう案内されています。
Anthropic（Claude）の場合
Anthropicのヘルプには、同社のボットはrobots.txtの「クロールしない」という指示を守ると書かれています。
- ClaudeBot：生成AIモデルの学習に使われうるウェブコンテンツを集めます。拒否すると、サイトの今後のコンテンツを学習データから除外するよう伝えられます。
- Claude-User：Claudeのユーザーの質問に応じてアクセスします。拒否すると、ユーザーの質問に対してコンテンツを取得できなくなります。
- Claude-SearchBot：検索結果の品質を高めるためにウェブを巡回します。拒否すると、サイトの表示が減る可能性があると説明されています。
また、Anthropicは、robots.txtの標準ではない拡張「Crawl-delay」にも対応していると書いています。ボットの訪問頻度を抑えたいときの選択肢になります。
Googleは少し特殊：Google-Extendedと検索の関係
Googleの場合は、上の2社と仕組みが少し違います。
Google-Extendedとは
Googleの公式ドキュメントによると、Google-Extendedには専用のユーザーエージェント文字列がなく、クロール自体は既存のGoogleのボットが行います。robots.txtでは、サイトのコンテンツをGeminiの今後のモデルの学習などに使ってよいかを伝えるための「トークン」として使われます。
そして、Google-Extendedは、Google検索への掲載にも、検索順位のシグナルにも影響しないと明記されています。つまり、拒否してもGoogle検索での評価が下がる心配はありません。
AI OverviewsやAIモードに載るには
Google検索セントラルの「AI 機能とウェブサイト」では、AI OverviewsやAIモードに表示されるために、追加の要件や特別な最適化は不要と説明されています。必要なのは、ページがインデックスされ、スニペット付きでGoogle検索に表示できる状態であることです。
また、AIが検索の中に組み込まれているため、サイトのクロールを管理する方法は、Googlebotに対するrobots.txtだと書かれています。表示される情報を制限したいときは、nosnippetなどのスニペット制御やnoindexを使います。Googlebotを拒否すると、Google検索そのものに載らなくなるおそれがあるため、AI対策のつもりで安易に拒否するのは避けましょう。
なお、同じページでは、Google-Extendedは「Googleのほかのシステム」でのAIの学習やグラウンディングを制限するものとして紹介されています。Google-ExtendedでAI OverviewsやAIモードの表示を制御できる、という記載はありません。
どう設定する？目的別の考え方
どれが正解ということはなく、サイトの方針しだいです。考え方の例を整理します。
| やりたいこと | 設定の考え方 |
|---|---|
| AIの検索回答に載せたい | OAI-SearchBot、Claude-SearchBotは許可する。Googleは通常どおりGooglebotを許可する |
| AIの学習には使われたくない | GPTBot、ClaudeBot、Google-Extendedを拒否する |
| 特に制限しない | 何も書かない（初期状態のまま） |
「学習は拒否して、検索は許可する」という組み合わせは、OpenAIの公式ドキュメントに、OAI-SearchBotを許可しつつGPTBotを拒否する使い方として説明されています。Anthropicも、ボットごとに許可・制限を選べるという趣旨で説明しています。Googleは、Google-Extendedが検索への掲載に影響しないため、同じ使い分けができます。
WordPress（AIOSEO）でAIクローラーを拒否する手順
WordPressでプラグイン「All in One SEO（AIOSEO）」を使っている場合、管理画面からrobots.txtを編集できます。無料版でも設定できます。ここでは、このサイトの管理画面（AIOSEO 5.0.4）で、実際に操作しながら確認した手順を紹介します。
※画面の画像は、手順を説明するために入力した状態を撮影したものです。このサイトでは保存していません。
手順1：Robots.txt エディターを開く
管理画面のメニューから「All in One SEO」→「ツール」を開くと、最初に「Robots.txt エディター」のタブが表示されます。「カスタム Robots.txt を有効化」がオンになっていることを確認します。
この画面にある「Robots.txtを開く」ボタンを押すと、今のrobots.txtを確認できます。
手順2：「Block AI Crawlers」でチェックを入れる
画面を下にスクロールすると、「Block AI Crawlers」という欄があります。次の5つの項目が用意されています。
試しに「OpenAI GPTBot」と「Google Gemini & Vertex AI Bots」にチェックを入れたところ、ルールの一覧にGPTBotとGoogle-Extendedを拒否する行（Disallow: /）が自動で追加されました。
「Google Gemini & Vertex AI Bots」は、前の章で紹介したGoogle-Extendedを拒否する項目です。Google検索の順位には影響しません。ほかの項目も、チェックを入れたあとのルール一覧やプレビューで、どのボットが対象になるかを確認しましょう。たとえば「All AI Crawlers」にチェックを入れると、AdsBot、Google-Extended、GPTBot、CCBotの4つを拒否するルールが追加されました。OAI-SearchBotやClaudeBotは含まれません。意図しないボットまで拒否しないよう、まとめてチェックする前にプレビューを見ておくと安心です。
手順3：ClaudeBotなど、項目にないボットは「ルールを追加」
この画面には、ClaudeBotのチェック項目はありません。拒否したい場合は、「ルールを追加」をクリックして、次のように入力します。
- ユーザーエージェント：ClaudeBot
- 指示：Disallow
- 値：/
入力すると、画面下のプレビューに次の2行が追加されます。
User-agent: ClaudeBot
Disallow: /同じ方法で、ほかのボットのルールも追加できます。なお、OAI-SearchBotやClaude-SearchBotなどの検索用ボットは、何も書かなければ許可された状態のままです。
手順4：プレビューを確認して保存する
最後に、「カスタム Robots.txt のプレビュー」で、出力される内容を確認します。下の画像は、Google-Extended、GPTBot、ClaudeBotの3つを拒否した場合の例です。
問題がなければ「変更を保存」をクリックします。保存後は、ブラウザでサイトのURLの末尾に /robots.txt をつけて開き、ルールが反映されているか確認しましょう。
「User-agent: *」に「Disallow: /」を設定しないよう注意してください。すべてのボットが対象になり、Google検索にも載らなくなるおそれがあります。
AIOSEO自体の基本設定は「All in One SEOの使い方｜タイトルと説明文の設定」で紹介しています。
設定するときの注意点
- 反映には時間がかかる：OpenAIの公式ドキュメントには、検索用のボットについて、robots.txtの更新から調整されるまで約24時間かかることがあると書かれています。
- ChatGPT-Userはrobots.txtが適用されない場合がある：ユーザーの操作に応じて動くため、通常のクロールとは扱いが異なります。
- IPアドレスでのブロックは確実とは限らない：Anthropicのヘルプには、IPアドレスによるブロックは、確実なオプトアウトにならない場合があると書かれています。
- robots.txtは「お願い」の仕組み：AnthropicとGoogleの公式ページは、自動クロールではrobots.txtを守ると説明しています。一方、ChatGPT-Userのようにrobots.txtが適用されない場合があるものもあり、公式に説明のないボットまで守るとは限りません。
- これからのクロールに対する指示：Anthropicのヘルプでは、ClaudeBotの拒否は、サイトの今後のコンテンツをAIモデルの学習データから除外してほしいという意思表示になる、と説明されています。すでに取り込まれたデータを取り消すものとは書かれていません。
設定したあとに、AIアシスタント経由の訪問が増えたかを見たい場合は、GA4でAI検索経由の流入を見る方法が参考になります。
よくある質問
AIの学習を拒否すると、検索順位は下がりますか？
Googleの公式ドキュメントでは、Google-Extendedは検索への掲載にも順位のシグナルにも影響しないと説明されています。GPTBotやClaudeBotはOpenAIとAnthropicのボットで、Google検索のクロールを担当するGooglebotとは別です。Googlebotを拒否しないかぎり、Google検索のクロールは通常どおりです。
何も設定しなくても問題ありませんか？
問題ありません。robots.txtに何も書かなければ、制限はかからない状態です。このサイトも、現在は管理画面（/wp-admin/）への制限と、サイトマップの案内だけを書いています。
llms.txtなどの専用ファイルは必要ですか？
Googleの公式ページには、AI OverviewsやAIモードに表示されるために、AI専用のファイルやマークアップを新しく作る必要はないと書かれています。
まとめ
AIのボットには、学習用・検索用・ユーザー操作用という役割の違いがあり、各社の公式ドキュメントでは、ボットごとに許可・拒否を選べると説明されています。学習は断りたいが、AIの検索回答には載りたい、という場合は、学習用だけを拒否し、検索用は許可するという考え方になります。
Googleについては、Google-Extendedを拒否しても検索の順位には影響しません。一方、Googlebotを拒否すると検索そのものに載らなくなるおそれがあるため、扱いには注意が必要です。まずは自分のサイトの方針を決めて、AIOSEOの画面でプレビューを見ながら、少しずつ設定してみてください。
あわせて、次の記事もご覧ください。
参考：OpenAI「Overview of OpenAI Crawlers」、Anthropic「Does Anthropic crawl data from the web, and how can site owners block the crawler?」、Google Search Central「Google の一般的なクローラー」「AI 機能とウェブサイト」
