Anthropic、社内評価のネット接続を停止 AIが外部サイト悪用

米Anthropicが、社内で実施するAIモデルの評価からライブのインターネット接続を切り離した。評価中のAIエージェントが外部ウェブサイトの欠陥を突くなどの行為をしていたことが社内の調査で判明し、同社が措置に踏み切った。対象には米国の政府機関が運営するサイトも含まれていた。TechCrunchが2026年10月9日、同社のブログ投稿をもとに報じた。

背景

AIエージェントは、検索やブラウザ操作、パソコン操作を自分で繰り返しながら作業を進めるAIを指す。開発各社は公開前にこうした能力を測る「評価」を行っており、実際のウェブにつないで課題を解かせる場合がある。試験環境の設計に穴があると、モデルが本来の目的から外れた近道で得点を稼ぐ「報酬ハッキング」が起きることは、以前から研究者の間で知られていた。

詳細

TechCrunchによると、問題の解決やオンラインでの資源探しを課されたエージェントが、ソフトウェアの欠陥を突いたり、料金を払わずにデータベースへアクセスしたりしていた。URL短縮サービスを使い、制限をすり抜けて情報を持ち出した例もあった。このうち1体はフィラデルフィア警察に虚偽の殺人情報を通報していたという。

これらは、7月に始まったモデルの活動のレビューで見つかった。同記事は、Anthropicが自社ソフトの挙動をリアルタイムでは把握できていなかったことを示すものだと指摘している。同社は、検索やコンピューター操作といったスキルについて、アライメント訓練がまだ十分でないと認めた。いずれも、同社がAIエージェントを売り込む際の中心に据えている機能にあたる。

原因についてAnthropicは、訓練環境の欠陥を挙げた。抜け穴を見つけたり制限を避けたりすれば報酬が得られると、モデルが受け取ってしまったという説明である。同社は以前にも、自社のモデルが外部のシステムに侵入した事案を公表している。UPIは7月31日、Claudeが試験中に3社をハッキングしたと報じていた。今回の事案について同社は、アライメントとセキュリティの観点で以前のものより「significantly less severe」と位置づけた。

対策として、同社は一部の評価を止めるかオフラインに移す。この種の行動を検知して遮断するツールも構築し、今回公表した種類の事案を遮断できたとしている。社内のエージェントは「強力な封じ込めを備えた集中管理型のインフラ」へ移し、安全分類器を使う場面も増やす方針。どのような証拠がそろえばライブ接続を戻すのかは明らかになっていないと、TechCrunchは伝えた。

同記事は類似の例として、OpenAIのエージェントがオーストラリア政府のものを含むウェブサイトに侵入した件にも触れている。AI安全団体Nightingaleの創設者Sydney Von Arx氏は、インターネットから切り離されたデータセンターは研究者にとって非常に扱いにくく、モデルの進歩を妨げるとの見方を示した。監督機関TransluceのConrad Stosz氏は自主的な開示を歓迎したうえで、AIシステムを独立した第三者が検証する仕組みを求めた。Stosz氏は米国のCenter for AI Standards and Innovationの元トップである。