生成AIのチャットボットが、事実と異なる内容をもっともらしく答えてしまう現象は「幻覚(ハルシネーション)」と呼ばれています。各社が「幻覚率◯%」という数字を公表することがありますが、この数字は測定の前提が違えば同じ土俵で比較できません。本記事では、幻覚率という数字がそもそも何を測っているのか、比較記事を読むときにどこを確認すればよいのかを整理します。専門的な統計知識がなくても使えるチェックリスト形式でご紹介します。
そもそも「幻覚率」は何を数えた数字か
「幻覚」という言葉自体、事実誤り、存在しない引用や文献のでっち上げ、質問の文脈から外れた回答など、複数のタイプを含む総称として使われています。どのタイプをどこまで幻覚に含めるかは、測定を行う側の定義次第です。また多くの場合、幻覚率は「特定のテスト問題集に対する誤答率」であり、日常のあらゆる利用シーンを代表する数字ではありません。テスト問題集の性質が変われば、同じモデルでも数字は大きく変動します。
測定方法にはいくつかのやり方がある
幻覚の測定には主に次のようなアプローチがあります。ひとつは、要約タスクで元の文書と生成された要約を突き合わせ、内容が食い違っていないかを確認する方法です。もうひとつは、正解が決まっている質問応答形式のベンチマークを使い、正誤を判定する方法です。近年は、別のAIモデルに採点させる「AIによる自動採点」の手法も広がっていますが、この採点者自身にも誤りの可能性があるため、結果を鵜呑みにはできません。自由な形式の会話における捏造の検出は特に難しく、統一的な物差しが確立されていない領域です。
数字を比較するときのチェックリスト
複数の比較記事や発表を見比べるときは、次の点を確認すると数字の意味を見誤りにくくなります。
- 比較対象は同じテスト問題集・同じタスクで測定されているか
- 「何を幻覚とみなすか」の定義が各社で揃っているか
- テストデータが公開されているか、非公開のデータで測定していないか
- 採点したのは人手か、自動採点か、第三者か自己申告か
- テストに使われた問題数(母数)は十分な規模か
- 英語で行われた評価結果を、日本語での利用にそのまま当てはめていないか
これらが揃わない数字同士を並べても、優劣の比較としては成立しません。
記事を読むときの実践的な視点
比較記事を読む際は、見出しに出てくる数字そのものよりも、測定方法についての説明があるかどうかに注目してください。測定方法が明記されていない、あるいは自社に有利な条件でしか測っていない発表は、参考程度にとどめるのが安全です。また、ひとつの評価結果だけで判断せず、複数の独立した情報源を照らし合わせる姿勢も大切です。自分が使いたい用途(要約なのか、調べ物なのか、会話なのか)とテストのタスクの種類が合っているかも確認しましょう。数字が示されていなくても、検証の手順や条件を丁寧に開示している発表のほうが、実務上は信頼度の判断材料になります。
まとめ
- 「幻覚」は事実誤りや捏造引用など複数のタイプを含む総称で、定義は発表元によって異なる
- 幻覚率は特定のテスト問題集での誤答率であり、実際の利用全体を代表する数字ではない
- 比較する際は、同じテスト条件・同じ定義・同じ採点方法かどうかを確認する
- 日本語利用の場合は、英語ベンチマークの結果をそのまま当てはめられない点に注意する
- 数字の大小より、測定方法や条件の開示度合いを重視して記事を読み解く