Qwenの27Bモデル、量子化で8GB級PCでも動く範囲に

話題の大きなAIモデルを自分のPCで動かしてみたいと思って紹介記事を読むと、「VRAM 48GB推奨」のような注意書きにぶつかって諦める。そんな経験はないだろうか。Qwen Teamが公開している27Bパラメータの大型モデル「Qwen3.8-27B」も、本来はそのクラスに入る。だが開発者コミュニティのUnslothが配布している圧縮版なら、8GB前後のメモリしかないノートPCでも動かせる範囲に収まる。小さくした分だけ賢さも犠牲になっていないのか、自分の環境ならどれを選べばいいのかを確かめていく。

27Bモデルは本来どれくらい重いのか

Qwen TeamのモデルであるQwen3.8-27Bは、名前のとおり27Bパラメータ、つまりモデルの中にある重みの個数が270億個ある。この重みを元の精度(BF16、16ビット)のまま保存すると、ファイルサイズは54.7GBに達する。一般的なゲーミングPCやクリエイター向けPCのVRAMは8GB・12GB・16GB・24GBあたりが主流で、54.7GBはそのどれにも収まらない。

そもそもこのモデルには、わざわざ動かしたくなるだけの特徴がある。

• ビジョン対応: 画像・動画を理解できる
• 推論モード: xhigh・medium・lowの3段階で切り替え、答えを急ぐか、じっくり考えさせるかをリクエストごとに選べる
• 長い文脈: ネイティブで262,144トークン、拡張すると100万トークンまで扱える
• ライセンス: apache-2.0で商用利用もできる

ここで使われるのが量子化だ。それぞれの重みを16ビットではなく、8ビットや4ビット、場合によっては1ビットという少ないビット数で保存し直し、ファイル全体を小さくする。写真を圧縮すると色の情報を間引いてファイルサイズを落とすのと似た発想で、重みの表現を粗くするぶんモデルは軽くなる。

量子化でどこまで小さくなるのか

Unslothは2026年11月11日(現地時間)付の更新で、Qwen3.8-27Bに新しい量子化方式「Dynamic v3.1」を適用した。量子化後のファイルはGGUF形式で、Hugging Faceで無償公開されている。公開されているファイル一覧から、代表的なビット幅ごとのサイズを並べると次のようになる。

元のサイズが54.7GBなのに対し、最小の1bit版は6.19GB。およそ1/9まで縮んでいる計算になる。自分も最初にこの数字を見たとき、桁を見間違えたかと思った。Hugging Faceのファイル一覧を見直しても、1bit版は確かに6GB台だった。気になるのはこの先で、ファイルを小さくした分だけモデルの賢さも落ちているのではないか、という点だ。

なぜ小さくしても精度が落ちにくいのか

層ごとに重さを変える

量子化は、どの重みも同じビット数に揃えて落とす「均一な量子化」が従来のやり方だった。Unslothの「Dynamic」量子化はここが違う。公式ドキュメントには次のようにある。

Rather than modifying only select layers, we now dynamically adjust the quantization type of every possible layer. (一部の層だけを変えるのではなく、可能なすべての層の量子化の種類を動的に調整する)

つまり、モデルの中にある層(重みのまとまり)を一律に同じ薄さまで削らない。層ごとに「どこまで精度を落としても結果に響かないか」を見極め、層ごとに異なるビット数を割り当てる。公式ドキュメントによると、この判断は次の材料で決めている。

• キャリブレーション: 150万トークンを超える会話データを使い、どの層が結果に影響するかを見極める
• 評価指標: 出力の分布のずれを測るKL Divergenceを使う。Perplexityは出力トークンの値が打ち消し合って不適切という理由で、あえて使っていない
• 配分はモデルごとに違う: 公式ドキュメントは例として、Gemma 3とLlama 4では量子化される層が大きく異なると説明しており、「モデルごとに専用の量子化方式を使う」としている

つまりUnslothの量子化は、モデルの中身を一律に薄く伸ばすのではなく、結果に影響する部分だけ厚みを残して削っている。この層ごとの調整こそが、「同じファイルサイズでも精度が高い」と主張できる根拠になる。

精度向上の主張とその限界

Qwen3.8-27Bの今回の更新は、この方式の「v3.1」にあたる。モデルカードには「5-10% more average accuracy than other frontier quants」(他の主要な量子化より平均5〜10%精度が高い)とある。確認に使ったのはTerminal Bench・DeepSWE・LiveCodeBenchといったベンチマークだとしている。

ただしこの数値はUnsloth自身の測定で、具体的な数値表や第三者による独立検証は見当たらなかった。どのビット幅まで今回の更新が及んでいるかも明記がなく、数字をそのまま鵜呑みにはできない。それでも、層ごとに精度を変えるという設計自体は公式ドキュメントで確認できる仕組みであり、「なぜ小さくして精度を保てるのか」への答えにはなっている。残るのは、この中からどれを選べば自分のPCで動くのか、という具体的な線引きだ。

自分のPCならどれを選べばいいのか

では、手元の環境ならどのファイルを選べばいいのか。Unsloth公式ドキュメントが示す、RAM(メインメモリ)とVRAMを合わせた目安は次のとおりだ。

統合メモリ型のPCならこの合計値、GPU搭載PCならVRAMとメインメモリの合計で見ればいい。8GB前後のメモリしかないノートPCでも、1bit版なら動く範囲に入っている。12GB級のGPUなら3bit版、16GB級なら4bit版まで無理なく届く。ビット数を上げるほど元の精度に近づくので、メモリに余裕があるなら上のビット幅を選んだほうが、Dynamic量子化の効果も含めて精度は高くなる。

動かすツールもいくつか選べる。

• Ollama: ollama run hf.co/unsloth/Qwen3.8-27B-GGUF:UD-Q4_K_Mという1行のコマンドで、指定したビット幅のファイルを取得して実行できる
• llama.cpp: llama serveやllama cliで動かす。macOS・Linux・Windowsに対応
• Unsloth Desktop / LM Studio / Jan: アプリからファイルを開くだけで動かせる、Mac・Windows・Linux向けのデスクトップアプリ

クラウドのAPIを使わずに手元のPCだけで動くので、通信費や利用回数を気にせず、オフラインのままビジョン・推論対応のモデルを試せるのが利点になる。

まとめ

Qwen3.8-27Bは本来フル精度で54.7GBある大型モデルだ。Unslothの量子化版は最小6.19GBまで複数のサイズで配布されている。層ごとに精度を変える「Dynamic」量子化の仕組みにより、同じファイルサイズでも精度が高くなるとUnslothは主張している。その数値自体は未検証だが、仕組み自体は公式ドキュメントで確認できる。自分のPCやノートPCのメモリ量に合わせてビット幅を選べば、Ollamaなどで実際に動かして試せる。