AI学習の意思表示、robots.txtの1行でOpenAIやGoogleに伝わるように

自分のブログやサイトの記事を、AIの学習データに使われたくない。そう考えて対策したことがある人は、会社ごとに違うルールを調べて回った経験もあるはずだ。OpenAIのクローラーにはこの設定、Googleにはまた別の設定、と1社ずつ追加していく作業になる。

この手間が、まとめて1行で済むようになるかもしれない。2026年10月30日、OpenAI・Google・Microsoftの3社が対応を表明した。AIの学習利用について、意思表示を共通の書き方で受け取る仕組みに応じるという。ITmediaの報道によると、Anthropicも実装を進めている。大手メディアのように個別に契約を結ぶ交渉力がなくても、robots.txtに1行書くだけで複数社へ意思表示できる点が、今までと違う。会社ごとに違った設定は、どこまで1つにまとまるのか。そして、書けばすぐに効果が出るのか。

会社ごとに別だった設定

AIに学習されたくないとき、今まで何を書けばよかったのか。答えは「会社の数だけ」だった。たとえば、OpenAIのクローラーとGoogleのクローラーを個別に拒否するなら、次のように会社ごとのUser-Agentを並べて書くのが一般的なやり方だった。

User-Agent: GPTBot
Disallow: /

User-Agent: Google-Extended
Disallow: /

新しいAIサービスが現れるたびに、サイト運営者は新しいクローラー名を調べて追記することになる。この積み重ねを、1つの書き方で済ませられる仕組みが提案された。では、具体的に何を書けばいいのか。

1行で学習拒否を伝える書き方

Anthropicの標準化担当者Kevin Kelley氏は、2026年10月30日にIETF(インターネットの技術仕様を検討する組織)へ提案を提出した。このInternet-Draftが、新しい書き方を示している。例として、ドラフトには次の記述が載っている。

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

__usage_ai-trainingという「ポリシートークン」をUser-Agent行に書き、その下にDisallow・Allowを並べる。この例なら、サイト全体では学習利用を拒否しつつ、プレスキットのページだけ許可する意思表示になる。IETFドラフトによると、通常のrobots.txtにあるUser-Agent: *のワイルドカードは、このポリシートークンには適用されない。専用のグループとして別に書く必要がある(2026-11-01確認)。

このポリシートークンには、2つ知っておきたい適用条件がある。IETFドラフトが定めている範囲は次のとおりだ。

• 対象になるのは、生成AIモデルの学習済みパラメータを変える学習だけ。生成以外の用途に限ったモデルの学習は対象に含まれない
• このポリシートークンを何も書かなければ、学習について特に意向を示していないものとして扱われる。書かないことは、許可でも拒否でもない

ただし、この書き方は今のところIETFの正式な標準ではない。Kelley氏による個人提出の提案にとどまり、文書自体の有効期限は2027年5月3日と区切られている。

この1行は、見た目は今までのrobots.txtのDisallowとよく似ている。何が違うのか。

クロール禁止とは別の意思表示

見慣れたrobots.txtのDisallow: /は、クローラーそのものにページへ近づくなと伝える指示だ。これに対して、新しいポリシートークンが示すのは、クロールの可否ではない。

IETFドラフトは、このトークンが「クローラー向けのルールとは独立しており、クロール動作を直接指示するものではない」と明記している。意思表示の対象は学習の可否だけで、クロールを止める力はない。

つまりこの行を書いても、AI各社のクローラーはこれまでどおりページを取りに来る。止まるのは、取得したデータを学習に使うかどうかの判断だけだ。クロール自体を止めたいページには、各社のクローラー名を指定したDisallowを、これまでと同じように別に書く必要がある。

書けば、いつから効果が出るのか。会社によって違うのか。

対応時期は会社でまったく違う

4社とも対応を表明しているとはいえ、実際に意思表示が反映される時期は大きく異なる。

(出典: ITmediaの報道、Bing公式ブログ、2026-11-01確認。Anthropic・OpenAI・Googleの対応状況はITmediaの報道による)

対応を表明したのは同じ10月30日なのに、実際に効くまでの差がここまで開くとは、自分は調べるまで思っていなかった。「数カ月以内」のOpenAIから「2027年」のGoogleまで、1年以上のひらきがある。

4社の中でもっとも具体的な工程表を示しているのがMicrosoftだ。Bing公式ブログによると、2026年12月15日からBing Webmaster Toolsで一時設定を登録できるようになる。そして2027年2月1日に、新しい設定の適用が始まる。2027年3月1日以降は、今まで使われてきたNoArchiveとNoCacheの指定が、学習利用の意思表示としては読まれなくなる。

Microsoftはさらに、AIの「学習」とは別に、回答生成の際にWebページを根拠として使う「グラウンディング」を独立した設定として分けている。学習だけを拒否してグラウンディングは許可する、という組み合わせも選べる(Bing公式ブログ)。

GoogleについてはITmediaの報道に独自の扱いが載っている。共通の書き方で拒否したサイトは、「Google-Extended」を別途指定していなくても、その利用も拒否したとみなされる。すでにGoogle-Extendedを設定しているサイトは、その設定を書き換えずに新しい1行を足せる。

対応の中身も時期も会社ごとに違うなら、今日は何をすればいいのか。

今日からできること

書くこと自体は、今日からできる。構文はすでにドラフトとして公開されており、robots.txtに専用のグループを追記すればよい。ただし、反映されるタイミングは会社ごとに数カ月から1年以上のひらきがある。Anthropic以外の3社では、書いてもすぐには効果が出ない。

共通の1行は、会社ごとの個別設定を置き換えるものではなく、上乗せする形で機能する。

• 今までOpenAIのクローラー向けトークンやGoogle-Extendedを個別に設定していたサイトは、その設定を消す必要はない
• MicrosoftのNoArchive・NoCacheで学習利用を制御してきたサイトだけは、2027年3月1日までに新しい設定への切り替えが必要になる

まとめ

OpenAI・Google・Microsoftの3社とAnthropicは、新しい仕組みへの対応を表明した。robots.txtに書く1つのポリシートークン__usage_ai-trainingで、AI学習への意思表示を伝えられる。このトークンはクロールの可否とは別のレイヤーで働き、書いてもクローラー自体は止まらない。

効果が出る時期は会社ごとに異なる。Anthropicはすでに実装に着手している一方、Googleは2027年、Microsoftは2027年2月1日からの適用を予定している。書くこと自体は今日からでき、既存の個別設定と併用できる。会社の数だけ設定を覚えていた作業が、少しずつ1行に集約されていく途中にある。