AIモデルの性能を測る「評価（eval）」の結果は、論文やリーダーボード、ブログ記事、開発者独自のログなど様々な場所に散らばっており、同じベンチマークでも報告によって数値が食い違うという問題が長く指摘されてきました。米EvalEval Coalitionが2026年2月に立ち上げた「Every Eval Ever（EEE）」は、この評価結果の報告方法を統一しようとする学際的なプロジェクトです。Hugging Faceは2026年6月30日、EEEのデータをモデルページ上に表示する「Community Evals」機能との連携を発表したと報じられています。これにより、モデルの評価結果を誰もが同じ基準で確認・比較できる環境づくりが一歩前進します。

ポイント

  • EvalEval Coalition主導の「Every Eval Ever（EEE）」は、AI評価結果を統一フォーマットで記録する共有スキーマとクラウドソース型データベース
  • Hugging Faceのモデルページ上に、EEE形式の評価結果を表示できる連携が実現
  • 評価結果はモデルリポジトリ内に「.eval_results/*.yaml」として保存され、著者提出・コミュニティ提出・独立検証の別が明示される
  • EEEには22,235のモデル、2,273のベンチマーク、31種類の報告フォーマットにまたがるデータが集約されていると報じられています
  • 変換ツールが既存スコアとの矛盾を検出し、プレビューを経てGitHub上のプルリクエストとして提出できる仕組みも用意されている

背景と詳細

記事では、同じモデル・同じベンチマークでも報告によって数値が食い違う例として、LLaMA 65BのMMLUスコアが63.7や48.8など異なる値で報告されているケースが挙げられています。こうした評価結果を人手で再現しようとすると、計算資源だけで数十万ドル規模のコストがかかると見積もられており、第三者が結果を検証することの難しさが背景にあるようです。

EEEは、実施者の情報、評価対象モデル、モデルへのアクセス方法、生成時の設定、メトリクスの定義、サンプル単位の出力ファイルなどを含む統一JSONスキーマを提供します。運営するEvalEval CoalitionはHugging Face、エディンバラ大学、EleutherAIが共同でホストしており、HELM・lm-eval・Inspect AIといった主要な評価フレームワークからの変換コンバータもすでに用意されていると報じられています。

今回のHugging Faceとの連携では、EEEの記録をモデルページ上に表示できるようになるほか、組織の公式アカウントから提出されたスコアには「verified」のチェックマークが付与されます。現時点でコンバータが公式対応しているのはMMLU-Pro、GPQA、HLE（Humanity’s Last Exam）、GSM8Kの4つのベンチマークとされています。

なぜ重要か

日本の開発者や企業がHugging Face上で公開モデルを比較検討する際、根拠のはっきりしない性能アピールに左右されず、出典や検証状況が明示されたスコアを参照できるようになる可能性があります。特に自前で大規模な評価環境を持たない小規模チームやスタートアップにとって、他者がすでに再現・検証した評価結果を確認できることは、モデル選定のコストと不確実性を下げる意味を持ちます。生成AIの導入判断において「どのベンチマークをどう信頼すべきか」という基礎的な課題への対応策として、注目に値する動きです。

今後の見通し

現時点で公式対応するベンチマークは4種類にとどまっており、今後どこまで対象が広がるかは記事からは明確ではありません。HELMやlm-eval、Inspect AIなど主要フレームワークとの連携が今後拡充される可能性はありますが、実際の普及は開発者コミュニティやモデル提供元がどこまでこの仕組みを採用するかにかかっていると見られます。