Liquid AI、精度97%維持の4ビット量子化モデル「LFM2.5」公開

米Liquid AIが、軽量言語モデル「LFM2.5」シリーズについて、スマートフォンなど省メモリ環境向けに4ビット量子化した新チェックポイント群を2026年8月19日に公開したと、同社のHugging Faceブログが伝えました。今回のモデルは「Quantization-Aware Distillation(QAD)」と呼ぶ手法で作られており、通常の量子化で失われがちな精度の大部分を保っている点が特徴だとしています。対象は230M・350M・1.2B-Instruct・2.6Bの4サイズで、Hugging Face上でGGUF形式として配布されています。エッジデバイスでの高速・低メモリ実行を狙った取り組みです。

背景

スマートフォンやノートPC、ラズベリーパイのような組み込み機器でAIモデルを動かす「エッジAI」への関心が高まる中、モデルの重み(パラメータ)を32ビットや16ビットから4ビットなどに削減する「量子化」が広く使われています。ただし量子化は一般に推論精度を落とすトレードオフを伴い、特に学習後にまとめて圧縮する従来型の「ポスト訓練量子化(PTQ)」では、精度の劣化が無視できない場合があります。Liquid AIはこれまでもLFM2シリーズなど、スマートフォンやエッジデバイス上での高速動作を売りにした軽量モデルを展開してきており、今回のQAD手法もその延長線上にある取り組みです。

詳細

今回公開されたのは、LFM2.5シリーズ4モデル(230M・350M・1.2B-Instruct・2.6B)を4ビットのQ4_0フォーマットで量子化したチェックポイント群です。通常の量子化では学習済みモデルを後から圧縮するため精度低下が起きやすいのに対し、Liquid AIが採用したQADは、量子化していない高精度な「教師モデル」の出力を、量子化された「生徒モデル」に学習させる形で蒸留を行う手法です。訓練の過程であらかじめ量子化を織り込むことで、圧縮後の精度低下を抑えることを狙っています。

ブログによれば、QADで作られたモデルは、GPQA Diamond・MMLU-Pro・IFEval・GSM8K・AIME25といった複数のベンチマークにおいて、量子化前(BF16)の平均精度に対して96.5%〜97.4%(モデルにより異なる)を回復したとしています。あわせて、量子化によるファイルサイズ縮小の効果で、230Mおよび350Mモデルではスループットが4〜33%、1.2Bおよび2.6Bモデルでは3〜14%向上したとも報告されています。

検証環境としては、MacBook ProやNucBox EVO-X2、Samsung Galaxy S26 Ultra、Raspberry Pi 5といった実機での動作結果が示されており、パソコンだけでなくスマートフォンや小型ボードコンピューター上での実運用を意識した内容になっています。公開されたモデルはHugging Face上の「LiquidAI/LFM2.5-*-GGUF」といったリポジトリから入手でき、llama-cli -hf LiquidAI/LFM2.5-350M --hf-file LFM2.5-350M-QAD-Q4_0.ggufのようなコマンドで、llama.cpp経由でそのまま実行できる形で配布されています。

なぜ重要か

軽量モデルをスマートフォンやエッジ機器で動かす際、量子化によるメモリ・速度の恩恵と、精度低下のトレードオフは長らく課題とされてきました。今回の報告が示すように、訓練段階から量子化を織り込むことで精度回復率が97%前後まで高まるのであれば、クラウドに頼らずローカルで動く実用的なAIアプリの選択肢が広がる可能性があります。特に通信環境やコスト、データを外部に出したくない用途では、こうした小型・高効率モデルの意味は大きくなります。日本国内でも、店舗端末や工場機器、モバイルアプリへのAI組み込みを検討する企業にとって、参考になる技術動向といえるでしょう。

今後の見通し

Liquid AIは今後も軽量モデルのラインアップ拡充や量子化手法の改良を続けるとみられますが、他社の量子化技術との精度・速度比較や、日本語を含む多言語での実力については、今後の追加検証が待たれます。エッジAI分野では今回のような「訓練時に圧縮を織り込む」アプローチが増える可能性があり、同種の取り組みが他のモデル開発元にも広がるかが注目されます。