NVIDIAは2026年6月24日、Hugging Face公式ブログで、Mixture-of-Experts(MoE)モデルの微調整(ファインチューニング)を高速化するオープンソースライブラリ「NeMo AutoModel」を紹介しました。Hugging Face Transformers v5をベースに構築されており、既存コードのimport文を1行変更するだけで導入できるとしています。NVIDIAによれば、Qwen3やNemotron、GPT-OSS、DeepSeek V3など20種類以上のモデルに対応し、学習スループットを最大3.7倍向上、GPUメモリ使用量を最大32%削減できると報告されています。

ポイント

  • NVIDIAがHugging Face Transformers v5上に構築した学習ライブラリ「NeMo AutoModel」を2026年6月24日に公開
  • MoE(Mixture-of-Experts)モデルの微調整で、Transformers v5比の学習スループットが3.4〜3.7倍に向上したと報告
  • GPUメモリ使用量も29〜32%削減されたとされる
  • Qwen3、Nemotron、GPT-OSS、DeepSeek V3など20以上のモデルタイプに対応
  • 既存のfrom_pretrained() APIと互換性があり、import文の変更のみで導入できるとされる
  • 保存されるチェックポイントは標準のHugging Face形式(safetensors)で、vLLMやSGLangなど既存の推論基盤でそのまま利用できると説明されている

背景と詳細

近年、大規模言語モデルの多くがMixture-of-Experts(MoE)というアーキテクチャを採用するようになっています。MoEはモデル全体を稠密に計算する代わりに、入力ごとに一部の「専門家(エキスパート)」ネットワークだけを選んで計算することで、モデルの総パラメータ数を増やしつつ計算コストを抑える仕組みです。ただしMoEモデルの微調整は、専門家間でのデータのやり取りや重みの分散管理が複雑になるため、通常の密なモデルに比べて計算効率やメモリ効率を出しにくいという課題があったとされています。

NVIDIAが公開したNeMo AutoModelは、この課題に対応するライブラリとして紹介されています。記事によれば、Hugging Face Transformers v5が備える「Expert Backends」(grouped_mmによる訓練最適化)や動的な重み読み込み機能、テンソル並列プランなどの機能を土台にしつつ、NeMo AutoModel側でExpert Parallelism(専門家並列、GPU間で専門家の重みを分割する仕組み)、通信と計算を重ね合わせる「DeepEP」、TransformerEngineの融合カーネルといった最適化を追加しているとのことです。

記事で示された性能数値としては、8GPU構成でのQwen3-30B-A3Bの微調整において、Transformers v5単体では1GPUあたり3,075トークン/秒だったスループットが、NeMo AutoModelでは11,340トークン/秒に向上したと報告されています。同様にNemotron 3 Nano 30B A3Bでも、4,583トークン/秒から15,421トークン/秒への向上が示されており、メモリ使用量もそれぞれ29%、32%削減されたとされています。さらに16ノード・128GPUというより大規模な構成でのNemotron 3 Ultra 550B A55Bの学習例も紹介されており、大規模クラスタでの利用も想定されている様子がうかがえます。

なぜ重要か

MoEアーキテクチャは近年のオープンモデルで採用が広がっており、企業や研究機関が自社データで大規模モデルを微調整する際のコストと時間は大きな課題になっています。今回報告されたような学習スループットの向上とメモリ使用量の削減が実際の利用環境でも再現されるなら、同じGPU予算でより大きなモデルを試したり、微調整にかかる時間とクラウド費用を抑えたりできる可能性があります。また、既存のHugging Face APIとの互換性が保たれている点は、モデル移行のハードルを下げる要素として、社内でAI活用を進める日本の開発チームにとっても導入検討のしやすさにつながりそうです。

今後の見通し

NVIDIAはNeMo AutoModelをGitHub上でオープンソースとして公開しており、今後もサポートするモデルの種類や最適化機能が拡張されていく可能性があります。ただし今回報告された性能数値は特定のモデル・構成における測定結果であり、他のモデルや環境でどの程度の効果が得られるかは今後の検証を待つ必要がありそうです。実際の業務利用が広がるかどうかは、コミュニティでの検証結果や対応モデルの拡大状況を注視する必要があります。