ナデラ氏「AIモデルは侵害済みと想定を」封じ込め提言

マイクロソフトのサティア・ナデラCEOが10月10日、高度なAIモデルの危険性と対処法をまとめた長文をXに投稿した。米The Vergeが同日報じた。AIを「入れ子になったブラックボックス」として扱い、その助言や行動を受け入れるか拒むかを選ぶやり方は続けられないと主張している。モデルは最初から侵害されているものと想定し、封じ込めたうえで動かすよう求めた。

背景

AIは質問に答える道具から、利用者に代わってファイル操作や外部サービスへの送信までこなすエージェントへと用途を広げている。行動の範囲が広がると、誤作動や外部からの不正な指示が実害につながりやすくなる。米メディアBriefsによると、マイクロソフトは消費者向けにCopilotを提供し、企業にはモデルと基盤を供給する立場にある。The Vergeは今回の記事を「The AI Superintelligence Slowdown」という連載の一本として掲載した。

詳細

The Vergeによると、ナデラ氏の提言は業界で既に語られてきた項目と重なる。同メディアはインシデントの速やかな開示、独立した監査、検証可能なデータ、封じ込めの4点を挙げた。このうち封じ込めについては、他の論者より一歩踏み込んだ内容になっていると評している。

投稿でナデラ氏は「モデルは侵害されていると想定し、最初から封じ込めなければならない」と書いた。権限を持つ人間が、作業の途中でもモデルを一時停止または停止できる状態を保つよう求め、これを「非常ブレーキ」にたとえている。モデルが高度になるほど封じ込めの技術も高度なものが必要になり、その技術は標準化されるべきだとも述べた。

透明性の面では、モデルを封じ込めて観察でき、「改ざんできず人間が読める証拠」を残す仕組みを求めた。Briefsは「知能の供給と、それに対する権限を切り離す必要がある」という一節を引用している。重大な判断を単一のモデルに頼らないこと、障害や侵害の原因を共有して他社の防御に生かすことも提言に含まれると同メディアは伝えた。

投稿の前後には関連する動きが続いていた。Briefsによれば、マイクロソフトのAI研究者は9月14日、最も高性能なモデルに関する原則を示しており、法的人格を認めない、欺瞞をしない、人間の制御を逃れる設計をしないという3項目が含まれていた。The Vergeは同じ10日、Anthropicが評価中や社内利用中の「意図しないモデルの動作」を調べた報告書を公表したと報じている。Briefsは、トランプ政権下のAIタスクフォースが9日夜、開発企業にインシデントの即時開示を求めたとも伝えた。

The Vergeは、ナデラ氏が投稿の中で「スーパーインテリジェンス」という語を繰り返し使っている点にも触れた。提言がマイクロソフトの製品やサービスにいつ、どう反映されるかは、両メディアの報道では示されていない。