ゲーミングPCで1250億パラメータAIを動かすStrata

「1250億パラメータ」と聞くと、自分のゲーミングPCでは無理だと判断して記事を読み飛ばした経験はないだろうか。これだけの規模のAIモデルは、本来はデータセンターの高価なGPUを何枚も並べないと動かないはずだ。ところが2026年10月19日、ASCII.jpの新清士氏が、自宅のRTX 4090搭載PC1台でそれを動かしたと報告した(ASCII.jp)。使ったのは「Strata」という推論エンジンで、VRAM12GB級のGPUでも動くという。1250億パラメータ全部をGPUのメモリに積まなくても動くのはなぜなのか、その仕組みを確かめた。

なぜ普通は動かせないと思うのか

AIモデルの大きさは、パラメータ数で表されることが多い。数が多いほど、モデルが覚えている知識やパターンが多いという理解でおおむね正しい。問題は、そのパラメータをすべてGPUのメモリ(VRAM)に乗せて初めて動く、という前提だ。

Hugging FaceのQwen3.8-Flash-Nextのモデルカードによれば、このモデルの総パラメータは125B、つまり1250億個だ。1パラメータを2バイトの精度で保存するだけでも、250GB近くになる計算だ。量子化という圧縮技術で削っても、一般的なゲーミングPCのVRAM(12〜24GB)には到底収まらない。

だからこそ「1250億パラメータ」と聞いた瞬間、多くの人は自分のPCでは無理だと判断する。この前提そのものが崩れたところに、Strataの仕組みがある。

GPUに全部を積まない

Strata公式のGitHubリポジトリが説明する仕組みは単純だ。よく使う部分だけをGPUに置き、残りはRAMとCPU、SSDに分けて持たせる。READMEは次のように役割を分けている。

(Strata公式README「System Requirements」および仕組みの説明をもとに作成)

GPUに全部を積まなくていい理由は、Qwen3.8-Flash-Nextが「MoE(Mixture of Experts、専門家混合)」という構造を持っているからだ。モデルの中には「エキスパート」と呼ばれる小さな部分モデルがたくさん並んでいる。1つのトークンを生成するとき、実際に計算へ参加するのはそのうちのごく一部だけだ。

Hugging Faceのモデルカードによれば、Qwen3.8-Flash-Nextが1トークンごとに使うのは、ルーティングされる10個と共有の1個を合わせた11個だけだ。有効パラメータは6B(60億)にとどまる。1250億という数字は「モデル全体の大きさ」であって、「1回の計算で実際に動く量」ではない。

この差に気づくと、次に気になるのは「では、どのエキスパートがGPUに残るのか」になる。

よく呼ばれるエキスパートだけを手元に置く

Strataは、過去にどのエキスパートがよく呼ばれたかを見て、呼ばれる頻度の高いものから順にGPUのVRAMへ常駐させる。README(前掲)はこれを「約4,000個のホットなエキスパート」と表現している。残りはRAMに置いたまま、必要になったときだけCPUが計算して結果をGPUへ渡す。CPUでの計算は当然GPUより遅いが、呼ばれる頻度が低いエキスパートに限られるので、全体の速度への影響は抑えられるという設計だ。

ここまでは納得できる。ただ、自分はREADMEを読んでいて一度つまずいた場所がある。「全24,576個のエキスパート」という数字と、Hugging Faceのモデルカードにある「1層あたり512個のエキスパート」という数字がかみ合わなかったからだ。

24,576という数字の正体

Qwen3.8-Flash-Nextのモデルカードは、MoEの層が48層あり、各層に512個のエキスパートが並んでいると説明している。512という数字と、Strataが言う24,576という数字は、どちらも公式の資料に出てくるのに、同じ「エキスパート数」として並べると食い違って見える。

512×48を計算すると、24,576になる。

Strataが言う「24,576個のエキスパート」は、1層512個のエキスパート集合が48層分積み重なった、層ごとに別々の個体として数えた合計だったわけだ。公式モデルカードの「512」はMoE層1段分の設計上の個数になる。Strataの「24,576」はモデル全体で見たときの実体の総数で、どちらも正しいが見ている単位が違う。この対応関係はStrata自身のREADMEには書かれておらず、自分で計算して初めて気づいた。GPUに積む「約4,000個」は、この24,576個のうち呼ばれる頻度が高い層・位置の組み合わせを選んでいることになる。

数字の正体がわかったところで、気になるのは実際の速さだ。

実際にどれだけ速いのか

Strata公式READMEには、RTX 5070(12GB)・Ryzen 5 7600・RAM64GBの環境で計測した生成速度の表がある。量子化レベル(どれだけ精度を削って軽くしたか)で速度が変わる。

(Strata公式READMEの性能表をもとに作成。RTX 5070・12GB、Ryzen 5 7600、RAM64GBでの計測)

軽い量子化ほど速いのは直感どおりだが、どの水準でも毎秒50トークンを超えている点は見ておく価値がある。人が読む速度より速く文字が出てくる目安は毎秒10〜20トークン程度とされることが多く、この表の数値はどれもそれを大きく上回る。

実機での報告もこれを裏づける。ASCII.jpの新清士氏は、RTX 4090・RAM64GBの環境でIQ3_S量子化版(ファイル83.86GB)を動かした。レポート作成を指示したところ、毎秒約80トークンで出力されたと書いている(ASCII.jp)。インストールと環境設定はAIエージェントに任せたとしており、専門知識がなくても動かせる難度だったことがうかがえる。表示の速さはクラウドのAIサービスより速いくらいだったという。

ただしこれらの数値は、Strata開発者自身の計測と個人の検証記事によるもので、学術的な第三者ベンチマークではない。環境やモデルの個体差で変わりうる参考値として見たうえで、次に確かめたいのは自分のPCで試せるかどうかだ。

試すには何が要るか

Strata公式READMEが挙げる必要スペックは次のとおりだ。

• VRAM+RAMの合計で最低32GB。64GBならすべてのサイズのモデルが動く
• GPUはNVIDIA RTX 20〜50シリーズ(12GB以上)、AMD Radeon RX 6800以降(12GB以上)、Intel Arc、Apple Silicon(M1以降、macOS 15以降)のいずれか
• ストレージは空き約80GB。モデル本体のダウンロードだけで40〜70GBになる

現時点のStrata(バージョン0.2.0-beta、2026年10月19日公開)が対応するモデルは、Qwen3.8-Flash-Nextの量子化派生版に限られる。この記事が当てはまるのは、すでにVRAM12GB以上のゲーミングPCを持っていて、Qwen3.8-Flash-Next系のモデルを試したい人になる。

まとめ

Strataは、よく呼ばれる約4,000個のエキスパートだけをGPUに常駐させ、残りをRAMとCPU、SSDに分担させる。この設計で、1250億パラメータのMoEモデルQwen3.8-Flash-Nextを、VRAM12GB級のゲーミングPCでも動かせるようにした推論エンジンだ。1回のトークン生成に実際に使われるのは24,576個のうちわずか11個で、ゲーミングPCでも足りる計算量との差が、この仕組みを成り立たせている。

公式の計測では量子化レベルに応じて毎秒53〜94トークン、実機の検証記事でも毎秒約80トークンが報告されており、どちらも人が読む速度を上回る。対応モデルがQwen3.8-Flash-Next系に限られる点を踏まえたうえで、手元のGPUとRAMの容量を確認すれば、公式READMEのインストール手順からすぐに試せる。