AIモデルを9倍小さくした「Ternary Bonsai 2」、スマホでも動く

スマホに入れて動かせるAIモデルを探して、サイズの大きさに諦めたことがある。公開されているモデルの多くは数GB、大きいものでは数十GBあり、ダウンロードするだけでもスマホのストレージを圧迫する。

AI開発企業PrismMLは2026年10月15日(現地時間)、「Ternary Bonsai 2」の2B・4B・9Bを公開した(PrismML公式発表)。この壁を、重みの持ち方を工夫することで越えてきたモデルだ。言語モデルの重みを3値まで削る量子化によって、フル精度版より9倍以上小さくなり、iPhoneでも実用的な速度で動く。しかも性能の多くは保たれ、分野によっては元のモデルを上回るスコアも出ている。

削って小さくしたのに、なぜ性能が落ちないどころか伸びる場合まであるのか。数字を追って確かめていく。

スマホでAIモデルを動かす壁は何か

スマホでAIモデルを動かそうとすると、まずメモリの壁にぶつかる。AIモデルの中身は「重み」と呼ばれる数値の集まりで、ふだん公開されるモデルは1つの重みを16ビットの精度で保存している。パラメータ数が増えるほど、この重みの集まりも大きくなる。

Ternary Bonsai 2は、Qwen3.5をベースにした2B・4B・9Bの3サイズで公開された。言語モデル部分のメモリ使用量は、それぞれ0.43GB・0.95GB・2GBだ。PrismMLはこれを「フル精度版より9倍以上小さい」と説明している(PrismML公式発表)。

この軽さが、動く速さにも直結する。PrismMLが示した実測値では、iPhone 18 Pro Maxで2Bが最大毎秒120トークン、9Bが最大毎秒34トークンだ(PrismML公式発表)。毎秒120トークンあれば、チャットの返答は読む速さに十分追いつく。この速度はiPhone 18 Pro Maxでの計測値だ。画像を理解する役割を持つビジョン部分は、別に0.36GB〜0.67GB必要になる(Hugging Faceモデルカード)。古い機種ではこの数字どおりにはならない。

ではこの軽さは、具体的にどんな工夫で生まれているのか。

サイズをどうやって9倍以上小さくしたのか

Ternary Bonsai 2が使っているのは、重みの値そのものを3種類まで減らす「三値量子化」という方式だ。Hugging Faceのモデルカードによると、2B版の言語モデルは重みを-1・0・+1の3値だけで持つ。128個ごとのグループに1つだけ、元の大きさを示すFP16の倍率を添えている(Hugging Faceモデルカード)。

16ビット精度の重みが65,536段階の細かさを持つのに対し、三値なら3段階で済む。段階を減らすほど1つの重みを書き表す情報量は減り、同じメモリの中に多くの重みを詰め込める。これが、サイズを9分の1以下まで縮める理由になる。

この量子化方式がどこまで効くのかは、同社が公開した27B版の技術文書でより詳しく裏付けられる。27B版では同じ「128個ごとにFP16の倍率を1つ持つ三値」の方式で、重み1つあたりの情報量を1.76ビットまで切り詰めている。その結果、フル精度の53.8GBから5.93GBへ、約9.1倍に圧縮したという(PrismML技術文書)。2B・4B・9B版の正確なビット数は公式発表に書かれていない。ただし採用している圧縮の名称(PTQ1_0・PQ2_0)はこの27B版と同じで、同じ量子化技術の系列だと分かる。

値の種類を減らすだけなら、答えの質が落ちそうなものだ。実際のところはどうなのか。

性能はどこまで保たれているのか

答えから言うと、指示追従では2Bモデルが121.5%、元のQwen3.5 2Bより高いスコアを記録している(PrismML公式発表)。100%を超えるというのは、小さく圧縮したはずのモデルが、フル精度の元モデルを上回ったということだ。

PrismMLは19種類のベンチマークを用意し、エージェント/ツール呼び出し・数学・指示追従・コーディング・知識推論・ビジョンの6分野に分けて評価した。結果は、元のQwen3.5フル精度版に対する維持率として公表されている(PrismML公式発表)。

数値だけを見ると、圧縮で性能が落ちるどころか伸びている指標があり、しかもその伸び方は分野とモデルの大きさで向きが変わっている。数学・指示追従・コーディングでは、一番小さい2Bが一番高い維持率を記録し、9Bに近づくほど100%に収束する。逆に知識・推論とビジョンでは、9Bのほうが2Bより元モデルに近い。

量子化は一般に性能を落とす代償技術だと思っていたので、これには自分も驚いた。さらに意外だったのは、「小さいほど強い分野」と「大きいほど強い分野」がきれいに分かれていたことだ。なぜそうなるのかの説明は、PrismMLの発表には見当たらない。

この維持率はPrismML自身が計測し公表した数値で、第三者による独立した検証は今のところ確認できていない。効果を判断するときは、この点を踏まえておきたい。

それでも、わずか0.43GBのモデルが元のフル精度版と同等以上のスコアを一部で出しているのは、量子化の効果としては大きい。では、この軽いモデルを実際に試すには何をすればいいのか。

実際にどうすれば試せるのか

Ternary Bonsai 2はApache 2.0ライセンスで公開されている。商用利用を含めて自由にダウンロード・改変でき(Hugging Faceモデルカード)、試す方法は主に2つある。

• モデルファイルを直接ダウンロードする。Hugging Faceの2B版には3種類のパッキングがあり、PTQ1_0(0.43GB)が最も軽量、PQ2_0(0.52GB)が既定の選択肢、Q2_0(0.55GB)は上流のllama.cppでもそのまま動く(Hugging Faceモデルカード)。PTQ1_0とPQ2_0を使うにはPrismML-Eng/llama.cppフォーク(prismブランチ)が必要で、Apple SiliconのMacではMLX版(mlx-2bit)も使える
• ブラウザで試す。Hugging Face上に、ブラウザのWebGPUで動くデモ(webml-community/ternary-bonsai-2-webgpu-kernels)が公開されている(PrismML公式発表)

コンテキスト長は262,144トークンで、長い文章や会話の履歴を渡しても扱える(Hugging Faceモデルカード)。

まとめ

Ternary Bonsai 2の2B・4B・9Bは、重みを-1・0・+1の3値まで削る量子化によって、フル精度版より9倍以上小さい0.43GB〜2GBに収まった。iPhone 18 Pro Maxでは2Bが毎秒120トークン、9Bが毎秒34トークンで動く速さになっている。

PrismML自身の計測では、性能の多くが保たれている。数学・指示追従・コーディングでは、小さい2Bのほうがむしろ元モデルに近いか上回った。知識・推論とビジョンでは逆に、大きい9Bのほうが元モデルに近かった。Apache 2.0ライセンスで公開されているため、Hugging Faceからダウンロードするか、ブラウザのデモですぐに試せる。