ThinkingBox公開、AIエージェントの「完了」をDBで検証

米マイクロソフトのCopilot Studioチームなどは2026年10月3日、AIエージェントが業務を終えた後のデータベースの状態を確かめるベンチマーク「ThinkingBox」をHugging Faceのブログで公開した。小売や旅行など5業種を模した507の業務タスクを用意し、各タスクを20回ずつ実行させて結果を調べている。評価した18モデルのうち、1回の試行での成功率が最も高かったのはClaude Opus 5.5の67.16%だった。エージェントが「完了した」と報告しても、裏側の記録が正しく更新されていない例が多数見つかったという。

背景

AIエージェントの用途は、チャットで質問に答えるだけでなく、顧客管理や予約システムなどのツールを呼び出して記録を書き換える作業にも広がっている。従来のベンチマークの多くは、正しいツールを呼んだか、最終回答が合っているかを見る設計で、同じタスクを何度も繰り返して安定性を測るものは少なかった。業務で使う側にとっては、1回うまくいくことと毎回うまくいくことの差が、確認や手直しの手間に直結する。

詳細

記事の冒頭では、ひとつの事例を紹介している。745ドルのキッチン家電がナッシュビルの配送センターで「例外」扱いのまま止まり、配達予定日を15日過ぎたという顧客からの問い合わせに対し、エージェントは9回のツール呼び出しを行ってチケットを「解決済み」で閉じた。本来は「保留中」にしておくべき案件で、エージェントの報告とデータベースの状態が食い違っていた。記事のタイトル「エージェントは完了と言った。データベースは同意しなかった」は、この状況を指している。

タスクは小売、自動車保険、旅行、ネオバンク、コンサルティングの5業種にわたる合成の業務フローで、計507件ある。エージェントはMCP経由でツールを操作し、毎回クリーンな状態のバックエンドから作業を始める。判定には、終了時のデータベースの値を直接照合する実行可能な検査を使う。各タスクを20回独立して実行し、pass@1、20回中1回でも成功した割合を示すpass@20、20回すべて成功したタスク数の3つの指標で集計した。

結果では、1回の成功しやすさと安定性が一致しない例が目立った。オープンウェイトのモデルで最も成績の良かったKimi-K3はpass@1が57.37%で、全体の93.89%のタスクを少なくとも1回は解けた。一方、20回すべてで成功したのは507件中68件、13.41%にとどまった。Claude Opus 5.5の20/20は241件で、全体の47.53%にあたる。前世代のOpus 5も241件で、新しいモデルでも安定性の数字は変わらなかった。

失敗の中身も分析している。失敗の約8割にあたる79.9%はツールの使い方に起因し、状態の更新ミスが10.3%、ユーザーへの対応の不完全さが7.0%、状態を変える操作をしなかったものが2.9%と続いた。さらに失敗した試行の67.24%は、正常に終了し、状態を変えるツールも呼び出し、最後のツールエラーも出ていなかった。表面上は成功に見える失敗が、全体の3分の2を占めたことになる。

コスト面では、20回すべて成功するタスク1件あたりの費用を「依頼可能なタスクあたりのコスト」として算出した。GPT-5.4が6.80ドルで最も低く、Claude Opus 5.5は7.80ドルとなった。データセットは「microsoft/ThinkingBox-Bench」としてHugging Faceで公開され、コードはMITライセンス、データはCDLA-Permissive-2.0で提供される。Hugging FaceのOpenEnvにも統合された。著者らは、実データに触れるエージェントを評価する際には、失敗例を実際に確認し、OpenEnvで1タスクを再現し、繰り返しの指標を報告するよう呼びかけている。