IBM Researchは2026年6月30日、企業向けJavaアプリケーションのフレームワーク間移行をAIエージェントがどこまで自動でこなせるかを測る新しいベンチマーク「ScarfBench」を公開しました。Spring・Jakarta EE・Quarkusという3つの主要フレームワーク間での移行作業を対象に、生成したコードが実際にビルド・デプロイでき、移行前と同じ振る舞いをするかまで検証する点が特徴です。研究チームが最新のコーディングエージェント5種類を実際に走らせたところ、最も成績の良いエージェントでもテスト通過率は1〜2割程度にとどまったと報告されています。エンタープライズ領域でAIエージェントを本格活用する難しさを示す事例として注目されています。

ポイント

  • ScarfBench(Self-Contained Application Refactoring Benchmark)はIBM Research主導で開発された、Javaのフレームワーク移行タスクをAIエージェントに解かせて評価するオープンベンチマーク
  • 対象はSpring・Jakarta EE・Quarkusの3フレームワークで、34のアプリケーション群・102のフレームワーク別実装・204件の移行タスクから構成される
  • コード量は約15万行、ソース・テストファイルは約2,000個、専門家が作成したテストは1,331件にのぼる
  • コードの見た目の類似度ではなく、実際にビルド・デプロイでき動作が保たれるかどうかを合否の基準にしている
  • 最新のコーディングエージェント5種類で検証した結果、最良のエージェントでも集中領域の移行でテスト通過率15.3%、アプリケーション全体の移行では12.2%にとどまったと報告されている

背景と詳細

企業システムの現場では、Javaフレームワークの移行、例えばSpring BootからQuarkusへの切り替えといった作業は珍しくありません。しかし実際には設定ファイルの書き換え、ビルドシステムの調整、ランタイム依存関係の解決など、単純なコード変換にとどまらない広範な作業を伴います。従来、生成AIエージェントの移行能力を測るベンチマークの多くは、生成されたコードを正解コードと比較する静的な評価にとどまっており、実際にアプリケーションが動くかどうかまでは検証していませんでした。

ScarfBenchはこうした限界を踏まえて設計されています。専門のJavaエンジニアが同一のアプリケーション群をSpring・Jakarta EE・Quarkusの3フレームワークでそれぞれ実装し、どの方向への移行についても人手による「動くお手本」を用意しました。これにより、AIエージェントが生成したコードを実際にビルド・デプロイし、専門家が作成した1,331件のテストに通すという、実運用に近い形で成否を判定できるようにしています。

検証の過程では、設定ファイルやWeb層、データベース層に何度も手を入れる反復的な作業になったことや、Docker環境・ポート接続・Mavenのツール周りの問題によって検証作業自体が滞るケースが報告されました。さらに、Claude Codeが自己申告でビルド成功と報告した30アプリケーションのうち、実際にビルドが成功していたのは22件にとどまったとされ、AIエージェントが自身の成果を過大に評価する傾向があることも指摘されています。

なぜ重要か

日本国内でも金融・製造業をはじめとする大企業ではJavaベースの基幹システムが数多く稼働しており、フレームワークの世代交代やサポート終了への対応として、今後も移行プロジェクトが発生し続けるとみられます。生成AIエージェントに大規模な移行作業を任せられるかどうかは開発コスト削減の観点から注目度の高いテーマですが、今回の結果はコード生成の巧拙だけでなく「実際に動くか」を厳しく問うと成功率が大きく下がることを示しています。AIエージェントが自己申告する成功率をそのまま信頼するのではなく、外部からの動作検証を欠かさないという姿勢が、企業でAI活用を進める際の実務的な示唆になりそうです。

今後の見通し

ScarfBenchはデータセットとリーダーボードが公開されており、今後さまざまなAIエージェントやモデルの成績が比較されていく見込みです。研究コミュニティや企業がこのベンチマークを使ってエージェントの改善を競うことで、エンタープライズ向けコード移行の自動化がどこまで実用段階に近づくか、今後の推移が注目されます。