Litmus — 話題のニュースを、深く読み解く。 RSS
AI

型落ちのPS4が、オフラインで9Bパラメータの対話AIを動かす

個人開発者が、PS4のGPUへ自作の低レベル命令を直接送り込み、90億パラメータのQwen3.5-9Bをオフラインで毎秒31~39トークンで動かすアプリ「Garlic LLM」を公開した。

緑色の基板上に実装されたマイクロチップのクローズアップ(イメージ写真)

イメージ写真 記事の内容を撮影したものではありません。Photo by Ivan Chumak on Pexels

この記事には Amazon アソシエイトのリンクを含みます。

押し入れや棚の奥に眠っている、型落ちのPS4。久しぶりに電源を入れても、今さら新しいゲームが増えるわけではない。そのPS4が、インターネットに一切繋がずに90億パラメータの対話AIと話せる機械に変わる、と言われたらどうだろうか。個人開発者のLeonardo Alegría氏が公開したアプリ「Garlic LLM」は、2013年発売のPS4のGPUに自作の命令を直接送り込む。そうしてAlibabaのQwen3.5-9Bを、ネット接続なしで毎秒31~39トークンで動かす。なぜ計算用の仕組みを持たないゲーム機でそれができるのか、仕組みから見ていく。

ゲーム機のGPUにAI向けの仕組みはない

PS4は発売時から変わらず、絵を描くための機械だ。公式のソフトウェア開発キットは画面の描画を前提にしている。ホームブリュー(非公式な自作アプリ)向けにも、機械学習の計算に使えるAPIやライブラリは一つも用意されていない。Garlic LLM公式サイトと公式GitHubリポジトリのREADMEはこの前提を繰り返し断っている。PCでAIモデルを動かすときに当たり前に使うCUDAのような、計算専用の入り口がPS4にはそもそも存在しない。

ここで引っかかる。GPUはもともと大量の数値計算を並列にこなす装置で、AIモデルの計算(行列の掛け算)もその一種のはずだ。入り口がないなら、PS4のGPUは絵を描くこと以外には使えない、という話で終わってもおかしくない。

ドライバーの代わりに命令を自分で書く

Alegría氏が選んだのは、入り口を探すことではなく、入り口を自分で作ることだった。普段、GPUへの指示は「グラフィックスドライバー」という裏方のソフトウェアが自動で組み立てている。ゲームのプログラムが「この絵を描いて」と頼むと、ドライバーがその要求を、GPUが直接理解できる低レベルの命令列に翻訳して渡す。この変換作業は、普段アプリを作る側からは完全に隠れている。

READMEによると、Garlic LLMはこのドライバーの仕事を自分の手でやってのける。GPUが理解するその命令列は「PM4コマンドバッファ」と呼ばれ、Garlic LLMはこれをアプリ自身の手で組み立ててGPUへ直接発行している。行列の掛け算・アテンション・正規化といったAIモデルの計算そのものも、GPU向けに自作した専用の処理(OpenCL CでGCNアーキテクチャ向けに書いたカーネル)としてあらかじめ用意しておく。本来ドライバーが黙って作っている命令を自分で書くことは、遠回りに見えて、GPUを絵を描く以外の計算にも使える唯一の入り口になっていた。

自分がこの仕組みを知って驚いたのは、「AI用のAPIがない」と聞いた段階で、せいぜい毎秒数トークンしか出ないだろうと予想していたことだ。ドライバーを介さない自作の命令で、しかも2013年のハードウェアとなれば、遅くて当然に思える。実際の速度はその予想を大きく上回っていた。

自作の命令が実用速度まで届いた理由

速度を押し上げている仕組みは2つある。1つ目は量子化で、AIモデルが持つ数値(重み)を、必要な精度まで切り詰めて容量を減らす処理だ。READMEによると、Garlic LLMは重みを2段階に使い分けて圧縮している。重みの大部分と出力ヘッドは4ビット(Q4)に、各層で特に影響が大きい2つの行列(MLPのgateとup projection)は約3.5ビット(Q3)にする。すべてをQ4にすると容量が約384MiB増え、PS4の空き容量に収まらなくなるため、という理由が明記されている。

2つ目が、速度の山場になる「投機的デコーディング」だ。数ステップ先のトークンを先に予測しておき、その予測が当たっているかどうかを本体モデルがまとめて検証する。当たっていれば、1回の検証で複数のトークンが一度に確定する。1トークンずつ律儀に計算する方式に比べて、同じ計算回数でより多くの文字を進められる仕組みだ。

Qwen3.5の場合、この先読みを担うのは「MTPヘッド」という小さな部品で、最大2トークン先までを予測する。本体モデルはMTPヘッドの予測を1回の計算で検証し、当たっていた分だけ出力を一気に進める。

この2つが組み合わさった結果が、公式サイトが示す実測値になる。

01020304050トークン/秒コード生成: 最大43音声会話モード: 約22テキストチャット: 31~39テキストチャット: 31~3931~39最大43約22テキストチャットコード生成音声会話モード

計測はベース/Slim PS4・ファームウェア11.52で行われている。通常のテキストチャットは毎秒31~39トークン、コード生成では最大43トークンに達する(公式サイト・README)。一方で音声会話モードに切り替えると毎秒約22トークンまで落ちる。これは音声認識・音声合成のモデルが同時にメモリを使うため、投機的デコーディング用に確保していたメモリを削られるからだと説明されている。同じアプリでも、何をさせるかによって速度が変わる。

自分のPS4でも試せるのか

Garlic LLMを動かすには、非公式アプリの実行を可能にする改造「GoldHEN」を導入済みのPS4が前提になる。公式サイト・READMEが確認している範囲は次のとおりだ。

  • 開発者自身が動作確認したのは、ベース/Slim型・ファームウェア11.52
  • 利用者からの報告として、Slim(ファームウェア14.00)、Pro(12.02、毎秒25~45トークン)でも動作
  • 対応ファームウェアとして9.00・9.04・11.00・11.52・12.02・14.00を公式サイトが列挙
  • PS5は非対応
  • 空き容量は約6GB(先にパッケージをコンソールのストレージへコピーする場合は12GB)

導入に必要なのは、Hugging Faceで配布されている約5.7GB(バージョン1.19時点)のパッケージ1つだけだ。それを取得し、通常のホームブリューアプリと同じ手順でインストールすれば完結する。モデル自体もパッケージに同梱されているため、起動後はPCとの接続もネット環境も要らない。ただしGoldHENの導入自体は自己責任で、公式サイトも「通常のホームブリューアプリで、脆弱性の悪用は含まれない」としたうえで、その前提は利用者に委ねている。

チャット以外に何ができるのか

動かせるのはテキストチャットだけではない。音声入力にはNVIDIAのParakeet TDT 0.6B v3を使い、25のヨーロッパ言語に対応する。音声合成にはResemble AIのChatterboxを使い、7言語で読み上げる。この2つを組み合わせた音声会話モードも使える。ほかに、回答の前にじっくり考えさせる「Thinkモード」(既定はオフで、1回あたり約30秒)、AIが生成したMicroPythonのコードをコンソール上でそのまま実行する「Pythonモード」も用意されている。ネットワーク内の他の端末から使えるOpenAI互換のAPIも、既定ではオフだが設定で有効にできる。

スマートフォンのAIアプリとの一番の違いは、応答のたびにサーバーへ何かを送っているかどうかだ。Garlic LLMは起動後、モデルの読み込みから応答の生成まで、すべてがコンソールの中だけで完結する。公式サイトのFAQも「インターネットは不要。モデル、音声、音声認識はすべてアプリ内に含まれ、外部へ何も送信しない」と明記している。

まとめ

Garlic LLMは、PS4がAI計算用の入り口を公式には一つも持たないという欠落を、グラフィックスドライバーが本来担う命令の生成そのものを自作することで埋めた。そこに量子化と投機的デコーディングを組み合わせることで、90億パラメータのモデルが毎秒31~39トークンという、チャットとして十分読める速度まで届いている。試すにはGoldHENの導入という手前の壁があり、動作確認済みのファームウェアも限られる。それでも、押し入れの型落ちPS4は、ネットに繋がずに動くAIの実験機に変わる。

この記事の先を読む本を探す

特定の本を勧めるものではありません。検索結果から、いまの版と目次を確かめて選んでください。

コメント

気づきや感想をどうぞ

記事への補足や、読んで考えたことをお寄せください。個人情報や、他の人を傷つける内容の投稿はお控えください。

コメントを読み込んでいます…

    ほかの記事

    最新の記事 →