AIの実力を分けるのは「モデル」より「ハーネス」――Nvidia研究

NvidiaがAIエージェントの性能を左右する要因についての研究結果を公表しました。AIモデル「Claude Opus 5」を単体で動かした場合のスコアは30%だったのに対し、Nvidia独自のエージェント基盤「AVO」で包んだ場合には満点の100%を記録したといいます。モデル自体の性能競争が注目されがちな中、モデルを取り巻く「ハーネス」と呼ばれる周辺のソフトウェア構造こそが実際の成果を左右するという指摘です。OpenAIも別の検証で同様の傾向を確認したと報じられており、業界内でハーネス設計への関心が高まりつつあります。

背景

AI業界ではこれまで、モデル単体のベンチマークスコアを競う流れが続いてきましたが、実際の業務で使えるかどうかは、モデルに記憶やツールを与え、進行を管理する周辺のソフトウェア層(ハーネス)の設計に左右されるという見方が強まっています。ARC-AGI-3は、事前の説明なしに未知のゲーム環境を探索させ、ルールや目標を自力で推論させる難関ベンチマークとして知られており、モデルの「素の地力」だけでは太刀打ちしにくい設計になっています。

詳細

Nvidiaは2026年3月末に発表したコーディングエージェント基盤「AVO」を、ARC-AGI-3という一連の2Dゲーム群に適用しました。ARC-AGI-3は、事前知識やチュートリアルなしにゲームのルールや目標を推論しながらクリアを目指すベンチマークで、成績は人間が同じ課題をこなす際の行動効率と比較する指標(Relative Human Action Efficiency)で評価されます。

検証では、Claude Opus 5を高い推論設定のまま単体で走らせた場合のスコアは30%で、これはテストされた全モデルの中で最高の数字だったといいます。一方、同じOpus 5をAVOで包んだ場合には、用意された183レベルすべてをクリアし、スコアは30%から100%へと大きく伸びました。AVOは、実装内容や評価結果、コンパイラの出力などを保持する永続メモリと、行き詰まりや非効率なループを検知して別の戦略へ誘導する「スーパーバイザー」機能、状況確認→計画→実装→評価というサイクルを繰り返す反復ループなどで構成されています。限定的な比較として、OpenAIの「GPT-5.6 Sol」との対比も行われ、処理時間ではSolが上回る場面があった一方、環境内での行動回数(手数)ではOpus側が効率的だったと報じられています。

同様の傾向はOpenAI側の検証でも確認されています。OpenAIが同じARC-AGI-3で当初記録したスコアは10%未満だったものの、ハーネス内の2つの設定を調整しただけでスコアが3倍に伸びたと報じられています(それでもNvidiaの100%には届きませんでした)。また、Databricksも2026年7月に公表した調査で、同じモデルでもハーネスの構成次第で運用コストが大きく変わり得ると報告しており、モデル選び以上に実装の設計が結果を左右するとの見方が業界内で広がりつつあります。

なぜ重要か

このニュースは、AI導入を検討する企業にとって「どのモデルを使うか」だけでなく「どう組み立てるか」が成果を左右することを示す実例です。日本企業では大手クラウドベンダーのAPIをそのまま業務に組み込み、モデル単体の性能比較に注目しがちなケースが多く見られますが、記憶管理やエラー時の立て直しの仕組みといった周辺設計の巧拙が、実際の成果に直結する可能性を示しています。また、公表されているベンチマークの数字を鵜呑みにせず、実際の運用条件でどう機能するかを見極める重要性も浮き彫りになりました。

今後の見通し

Nvidiaの今回の結果は特定のゲーム型ベンチマークでのものであり、実際の業務タスクでも同様の効果が得られるかは今後の検証次第です。OpenAIなど他社でも同様の動きが報じられていることから、モデル開発と並行してハーネス設計を巡る取り組みが今後さらに活発化していく可能性があります。