NVIDIA、MoEモデルの微調整を最大3.7倍高速化する「NeMo AutoModel」を発表

NVIDIAは2026年6月24日、Hugging Face公式ブログで、Mixture-of-Experts(MoE)モデルの微調整(ファインチューニング)を高速化するオープンソースライブラリ「NeMo AutoModel」を紹介した。Hugging Face Transformers v5をベースに構築されており、既存コードのimport文を1行変更するだけで導入できるという。NVIDIAによれば、Qwen3やNemotron、GPT-OSS、DeepSeek V3など20種類以上のモデルに対応し、学習スループットを最大3.7倍向上、GPUメモリ使用量を最大32%削減できると報告されている。

背景と詳細

近年、大規模言語モデルの多くがMixture-of-Experts(MoE)というアーキテクチャを採用するようになった。MoEはモデル全体を稠密に計算する代わりに、入力ごとに一部の「専門家(エキスパート)」ネットワークだけを選んで計算することで、モデルの総パラメータ数を増やしつつ計算コストを抑える仕組みである。ただしMoEモデルの微調整は、専門家間でのデータのやり取りや重みの分散管理が複雑になるため、通常の密なモデルに比べて計算効率やメモリ効率を出しにくいという課題があったとされる。

NVIDIAが公開したNeMo AutoModelは、この課題に対応するライブラリとして紹介されている。記事によれば、Hugging Face Transformers v5が備える「Expert Backends」(grouped_mmによる訓練最適化)や動的な重み読み込み機能、テンソル並列プランなどの機能を土台にしつつ、NeMo AutoModel側でExpert Parallelism(専門家並列、GPU間で専門家の重みを分割する仕組み)、通信と計算を重ね合わせる「DeepEP」、TransformerEngineの融合カーネルといった最適化を追加しているという。

記事で示された性能数値としては、8GPU構成でのQwen3-30B-A3Bの微調整において、Transformers v5単体では1GPUあたり3,075トークン/秒だったスループットが、NeMo AutoModelでは11,340トークン/秒に向上したと報告されている。同様にNemotron 3 Nano 30B A3Bでも、4,583トークン/秒から15,421トークン/秒への向上が示されており、メモリ使用量もそれぞれ29%、32%削減されたとしている。さらに16ノード・128GPUというより大規模な構成でのNemotron 3 Ultra 550B A55Bの学習例も紹介されており、大規模クラスタでの利用も想定されている様子がうかがえる。

なぜ重要か

MoEアーキテクチャは近年のオープンモデルで採用が広がっており、企業や研究機関が自社データで大規模モデルを微調整する際のコストと時間は大きな課題になっている。今回報告されたような学習スループットの向上とメモリ使用量の削減が実際の利用環境でも再現されるなら、同じGPU予算でより大きなモデルを試したり、微調整にかかる時間とクラウド費用を抑えたりできる可能性がある。また、既存のHugging Face APIとの互換性が保たれている点は、モデル移行のハードルを下げる要素として、社内でAI活用を進める日本の開発チームにとっても導入検討のしやすさにつながりそうだ。

今後の見通し

NVIDIAはNeMo AutoModelをGitHub上でオープンソースとして公開しており、今後もサポートするモデルの種類や最適化機能が拡張されていく可能性がある。ただし今回報告された性能数値は特定のモデル・構成における測定結果であり、他のモデルや環境でどの程度の効果が得られるかは今後の検証を待つ必要がありそうだ。実際の業務利用が広がるかどうかは、コミュニティでの検証結果や対応モデルの拡大状況を注視する必要がある。微調整(ファインチューニング)とRAGの違いなど基礎から確認したい場合はファインチューニングとRAGの違い、GPUを大量に必要とする理由についてはなぜGPUは奪い合いになるのかを参考にしてほしい。今回の成果はHugging Face公式ブログで公開されたもので、同社は同時期に主要ライブラリのリリース作業へのAI活用も発表している。