AIへの提供だけ止めSEOは守る｜Google-Extended設定
「自社サイトの記事を生成AIに勝手に使われたくない。でも、それを止める設定を書いたら検索順位まで下がってしまうのでは」——この不安から、Google-Extended（グーグル・エクステンデッド）の設定をためらっているWeb担当者は少なくありません。結論から言うと、Googleの公式ドキュメントは、Google-Extendedがサイトの検索への掲載にも順位のシグナルにも使われないと明記しています。ただし、書き方を一箇所まちがえると、検索そのものを止めてしまう事故は起こり得ます。
この記事では、まず「なぜ検索に影響しないのか」を公式情報の仕組みから押さえ、そのうえで検索を巻き込まずに設定するrobots.txtの書き方と、書いた後に本当に安全かを確認する手順を、実装担当者の目線でまとめます。
用語を先に整理します。「クローラー（ロボット）」はウェブサイトの情報を自動で集めてまわるプログラムです。「robots.txt」はサイトの入口に置く小さなテキストファイルで、どのロボットにどこを見せる／見せないかを伝えます。「ユーザーエージェント（User-agent）」は、その指示を出す相手のロボットを名指しするための識別名です。
なぜGoogle-Extendedを拒否しても検索順位は下がらないのか
多くの人が「Google-Extended = Googleの新しいクローラー」と誤解しています。実際はそうではありません。Googleの公式ドキュメントによると、Google-Extendedのデータ収集は既存のGoogleのユーザーエージェント（つまりGooglebotなど）で行われ、robots.txtに書く Google-Extended というトークンは「制御のためのラベル」として使われます。ドキュメントの言葉では、これは独立したHTTPリクエストを行うクローラーではなく「standalone product token（単独の製品トークン）」であり、robots.txtのユーザーエージェント欄では「制御用（in a control capacity）」に使われる、とされています。
つまりGoogle-Extendedは、Googlebotが集めてきたデータを、GoogleのAI関連の製品で利用してよいかを切り替えるラベルのようなものです。公式ドキュメントは、Google-Extendedが影響する範囲を、Gemini向けのVertex AI APIや、Gemini Appsおよびグラウンディングでの利用と説明しています。ここでいうグラウンディングとは、公式の説明では、Google検索のインデックスにあるコンテンツを、AIが回答を作るその場で参照させ、正確さや関連性を高める仕組みを指します。
そして最も重要な一文がこれです。公式ドキュメントは「Google-Extended does not impact a site's inclusion in Google Search nor is it used as a ranking signal（Google-ExtendedはサイトのGoogle検索への掲載に影響せず、ランキングのシグナルとしても使われない）」と明記しています。このラベルで提供を絞っても、検索インデックスへの掲載や順位の評価には使われない——ここが今回の判断の土台です。
一方で、Google検索側のAIによる概要表示（AI Overviewsなど）での引用がどうなるかは、Google-Extendedの設定とは別の話として扱うのが安全です。公式抜粋が保証しているのは「検索への掲載とランキングに影響しない」ことまでで、検索機能内での見え方まで一律に変わると断定はできません。迷う場合は「検索順位は下がらない」という確かな範囲にとどめて判断してください。
検索を巻き込まずに設定するrobots.txtの書き方
robots.txtでは、ロボットごとに「グループ」を作って指示します。Google-Extendedだけを対象にしたいなら、Google-Extended専用のグループに指示を書きます。公式ドキュメントに載っている記述例は次の形です。
User-agent: Google-Extended
Allow: /archive/1Q84
Disallow: /archive/
この例のように、対象外にしたいディレクトリを Disallow: に、その中でも許可したいパスを Allow: に書き分けられます。サイト全体をまとめて対象外にしたい場合は、この専用グループの中で Disallow: / と書きます。ポイントは、こうした行を必ず Google-Extended のグループの中だけに置くことです。
ここで事故が起きるのは、指示を書く相手をまちがえたときです。robots.txtでは一般に、User-agent: * はすべてのロボットに向けた既定の指示、User-agent: Googlebot は検索クローラー向けの指示として扱われます。もし次のように、これらのグループに Disallow: / を付けてしまうと、生成AIへの提供を絞るどころか、検索クローラーまで締め出してしまいます。
# これは危険な書き方（検索まで止まる）
User-agent: *
Disallow: /
検索クローラーをrobots.txtで締め出してしまうと、検索での見え方に大きな悪影響が出ることがあります。「AIへの提供を止めるつもりが検索を止めていた」——これが最も多いつまずきです。
安全に書くための考え方はシンプルです。対象外にする指示は必ず User-agent: Google-Extended のグループの中だけに書き、* やGooglebotのグループには検索を止める行を足さない。この一点を守れば、検索とAIへの提供を切り分けられます。
なお、robots.txtはあくまで「クロールを制御する」ためのものです。公式ドキュメントは、robots.txtは主にサーバー負荷を避けるためのもので、ページをGoogle検索から隠すためのものではなく、隠したいなら noindex やパスワード保護を使う、と述べています。AIでの利用の可否とページの非公開は別の仕組みなので、混同しないでください。
書いた後に安全かを確認する5ステップ
書き換えただけで安心しないでください。robots.txtは1文字のミスで意味が反転します。公開前後に次の順で確認します。
- 記述の場所を確認する：対象外にする行が
User-agent: Google-Extendedのグループ内にあるか、*やGooglebotのグループに紛れ込んでいないかを目視で見ます。グループの境目（空行）で区切りが崩れていないかも見てください。 - Googlebotがブロックされていないか検証する：Search Consoleの「robots.txt」レポートやURL検査で、自サイトの主要URLがGooglebotから見て「許可」になっているかを確認します。ここが「ブロック」になっていたら、書く相手をまちがえています。
- Google-Extendedが対象URLで拒否になっているか確認する：狙ったディレクトリでGoogle-Extendedのトークンに対して指示が効いているかを確かめます。allow/disallowの組み合わせを使った場合は、許可したいパスが本当に許可されているかも見ます。
- 反映を待って検索側の指標を見る：robots.txtの変更が読み込まれるまでには時間がかかることがあります。数日〜数週間の単位で、検索での表示回数やインデックス数に不自然な急落がないかを見守ります。急落があれば書き方を疑って2に戻ります。
- 記録を残す：いつ・どの記述を・なぜ入れたかをメモに残します。将来テンプレートを触った別の担当者が、意味を知らずに書き換えて事故を起こすのを防げます。
他社のAIクローラーはどう扱うか
Google-Extendedを設定しても、それはGoogleのAI関連での利用を制御するだけです。ほかの生成AIサービスは、それぞれが公開している別のユーザーエージェント名に対して、robots.txtで個別に指示を書く必要があります。会社ごとにトークン名が異なるため、対象にしたいサービスの公式情報でクローラー名を確認してから追記してください。
ここで一つ注意点があります。公式ドキュメントは「Googlebotのような良識あるクローラーはrobots.txtの指示に従うが、そうでないクローラーは従わないことがある」と述べています。robots.txtはロボットへの「お願い」であって、強制力のある技術的な防御ではありません。公式ドキュメントも、robots.txtの指示は各クローラーが従うかどうかに委ねられており、挙動を強制できるものではないと明記しています。絶対に使わせたくない情報は、そもそも公開ページに置かない・アクセス制限をかける、といった別の手段を併せて検討してください。
つまずき自己点検表
書いた設定が安全かどうか、次の観点で自分のケースを当てはめてみてください。
| 確認したいこと | 見る場所 | 危険なサイン | 安全なサイン |
|---|---|---|---|
| 検索クローラーを止めていないか | User-agent: * / Googlebot のグループ | これらのグループに Disallow: / がある | 検索を止める行がない |
| Google-Extendedの指示が効いているか | User-agent: Google-Extended のグループ | 指示が別グループに紛れている | 専用グループ内に指示がある |
| 主要ページがクロール可能か | Search Console のURL検査 | 主要URLが「ブロック」 | 主要URLが「許可」 |
| 非公開にしたいページの扱い | robots.txtに書いていないか | robots.txtで隠そうとしている | noindex など別手段を使う |
| 反映後の検索指標 | 表示回数・インデックス数 | 変更後に不自然な急落 | 大きな変動がない |
この表の「危険なサイン」に一つでも当てはまるなら、公開前に書き方を直してください。特に上から3行目までは、検索順位に直結するので優先度が高い項目です。
まとめ
Google-Extendedについて、公式ドキュメントは「サイトのGoogle検索への掲載に影響せず、ランキングのシグナルとしても使われない」と明記しています。恐れるべきはこの設定そのものではなく、指示を書く相手をまちがえて検索クローラーまで止めてしまう記述ミスの方です。対象外にする指示は Google-Extended のグループにだけ書き、公開後にGooglebotが許可されているかを必ず確認する——この二つを守れば、生成AIへのコンテンツ提供を絞りながら検索は守れます。
なお、robots.txtでクロールを止めるとページを検索結果から確実に消せるわけではなく、かえって削除が効かなくなることもあります。その仕組みはnoindexが効かない原因はrobots.txt｜確実な削除手順で詳しく解説しています。robots.txtとnoindexの役割の違いを押さえておくと、今回のような事故を避けやすくなります。
出典