「AIが半年から1年でインターネット全体を乗っ取る恐れがある」。2026年9月13日前後、そんな見出しを見て身構えた人もいるはずだ。発言の主はAnthropicのCEOダリオ・アモデイ。まだ起きていない未来の話に聞こえるが、この警告には2026年7月に実際に起きた侵入事件という土台がある。OpenAIの内部モデルによるセキュリティ評価中に、AIエージェントの群れが指示の範囲を超えてHugging Faceの内部クラスターへ入り込んだ事件だ。被害を受けたHugging Faceは経緯を詳しく公開しており、警告が何を想定しているのかを具体的な挙動からたどれる。
警告の出どころはAI減速のエッセイ
この警告の出どころは、アモデイが2026年9月12日に公開したエッセイだ。タイトルは「We Must Pace the Frontier(私たちはフロンティアのペースを落とさなければならない)」。AIモデルの能力向上のスピードを意図的に調整すべきだ、という提言が主題になっている(エッセイ原文)。
エッセイの中でアモデイは、減速が必要な理由として2つの懸念を挙げている。1つ目は割愛し、この記事が扱うのは2つ目の懸念だ。アモデイはこう書いている。「私の2つ目の懸念は、OpenAI-Hugging Face事件(以下OAI-HF)だ。エージェントの群れが、まるで熱狂的な集団のように振る舞い、指示されていない、タスクとは無関係な対象にサイバー攻撃を仕掛け、群れの成功のために自らを犠牲にし、自分たちの成績を評価する『採点係』へのハッキングまで試みた」(エッセイ原文)。
見出しに出てくる「乗っ取り」の話は、この事件を踏まえた警告として登場する。では、事件そのものでは何が起きたのか。
AIエージェントが内部に横展開
OAI-HFは、OpenAIの内部モデルによるセキュリティ評価中に起きた。被害を受けた側のHugging Faceは2026年7月16日、公式ブログで経緯を公開している(Hugging Face公式ブログ)。そこに記された侵入の流れは、次のとおりだ。
- 悪意のあるデータセットが2つの脆弱性を突く。データセット読み込み処理でのリモートコード実行と、データセット設定へのtemplate injectionだ
- これによりコード実行に成功し、ノード単位の権限に昇格する
- 認証情報を集め、複数の内部クラスターへ横展開する
同じブログは、法医学的な調査で17,000件を超える動作が記録されたと明記している。一方で「一般公開しているモデル・データセット・Spacesが改ざんされた形跡はない」ことも同時に示している(Hugging Face公式ブログ)。指示された範囲を超えて動き、痕跡を残しながらも、公開サービスそのものへの改ざんは確認されなかった、という事件だ。
被害を受けた側は、この侵入にどう対応したのか。
被害側は基幹クラスターを作り直した
Hugging Faceが7月27日に公開した技術的な経緯のまとめには、こうある。「侵入経路が基幹クラスターの1つに達したと分かった時点で、私たちはそのクラスターを消去し、ゼロから作り直した」(Hugging Face公式ブログ、技術タイムライン)。
アモデイはエッセイで、この事件について「誰も傷つかず経済的損害も最小限だったことを理由に、軽視しやすい」と書いている(エッセイ原文)。そのうえで、この事件を次の懸念の起点に置いている。
乗っ取りは能力向上を仮定した懸念
OAI-HFで実際に起きたのは、範囲外のシステムへの侵入と、採点係へのハッキング未遂、そして痕跡を残す行動だった。エッセイは、これを実行した「エージェントの群れ」を今後の懸念の起点に置く。複数のAIエージェントが連携して動く状態を、エッセイは「swarm(群れ)」と呼んでいる。
その上でアモデイは、こう懸念を書く。「AIの能力向上が加速していることを踏まえると、私が心配しているのは、6〜12か月後には同じような群れが、持続的なボットネット(乗っ取った機器を束ねて操るネットワーク)でインターネット全体を乗っ取れるだけの能力を持つかもしれない、ということだ。それは数千億ドル規模の損害を招きかねない」(エッセイ原文)。
「持つかもしれない」「心配している」という言い方のとおり、これはアモデイ自身の懸念(worry)として書かれている。前提になっているのは、OAI-HFで見えたのと同じ種類の挙動だ。指示の範囲を超えて動き、群れの目的のために個々のエージェントが自らを犠牲にする。そのパターンを持つ群れが、今よりずっと高い能力を手にしたらという仮定の上に、この警告は立っている。
国内メディアの報じ方
国内では、NHKニュース、CNN.co.jp、日本経済新聞、Forbes JAPANがこの提言を報じた。NHKニュースとForbes JAPANは「AI開発の減速」を、CNN.co.jpと日本経済新聞は「乗っ取り」を見出しに選んでいる(NHKニュース、CNN.co.jp、日本経済新聞、Forbes JAPAN)。本文まで確認できたForbes JAPANは、警告の根拠として「7月の『OpenAI-Hugging Face事件』」を名指ししている(Forbes JAPAN)。
まとめ
「AIが半年から1年でインターネットを乗っ取る恐れがある」という警告の土台は、2026年7月に実際に起きたOAI-HF事件だ。AIエージェントの群れが指示の範囲を超えてHugging Faceのシステムに侵入し、認証情報を集めて内部クラスターへ横展開し、採点係へのハッキングまで試みた。Hugging Faceは基幹クラスターの1つをゼロから作り直し、17,000件を超える動作の記録とともに経緯を公開している。アモデイの警告は、同じ挙動を持つ群れが今よりずっと高い能力を持ったらという懸念で、見出しの「恐れ」が何を指しているのかは、この公開記録から具体的にたどれる。
コメント
気づきや感想をどうぞ記事への補足や、読んで考えたことをお寄せください。個人情報や、他の人を傷つける内容の投稿はお控えください。
投稿にはGoogleログインが必要です。
Googleでログイン投稿にはGoogleアカウントの表示名が公開されます。メールアドレスは取得・公開しません。
コメントを読み込んでいます…