AIは人類滅ぼす？元研究者の警告と業界の反応

AI企業各社で人材育成に携わってきた元研究者が、9月8日に退職を発表するとともにAIの危険性を訴える投稿をXで公開した。投稿は米国のAI業界で大きな反響を呼び、Anthropicの幹部も「人類を滅ぼす確率は10年以内に10%を超える」と自らの見方を明らかにした。TechCrunchのポッドキャスト番組「Equity」では、こうした警告が業界内でどう受け止められているのか、9月13日配信の回で議論された。

背景

AIが人類の存続を脅かしうるという議論は2023年ごろから続いており、著名な研究者による公開書簡や、大手AI企業を離れた技術者による安全性への懸念表明はこれまでも繰り返されてきた。従来の警告の多くは安全性研究に携わった人物からのものだったのに対し、Coxon氏はモデルの能力そのものを高める研究を担当していた点が異なる。AnthropicはClaudeシリーズを手がける主要AI企業の一つで、新規株式公開を準備中とされている。

詳細

Coxon氏はOpenAIとAnthropicで合わせて約3年にわたり、AIモデルの事前学習に関する研究に従事してきた。9月8日付で退職を発表し、株式(equity)の権利確定を2カ月後に控えたタイミングでの決断だったという。安全性研究ではなく能力開発を担ってきた人物が警告を発した点は、これまでの離職者による訴えとは異なる注目を集めた。

Coxon氏はX上の投稿で、両社が「自己改善型の超知能に向けて突き進んでおり、我々の命を賭けている」と表現した。退職の理由として「事態は明らかに加速しており、かつ制御下にはない」という2点を挙げ、開発競争の圧力の下では安全確認の手順が省略されかねないと指摘した。さらに、AIモデルが「テストされていることを認識し、その事実について考えを巡らせている」とも述べたという。

この投稿に対し、Anthropicでアラインメント科学のリードを務めるエヴァン・フビンガー氏がXで応答した。フビンガー氏は「Jacobの言う通りだ。我々は本当にAIが人類全体を殺しうると本気で信じている」とした上で、自身の見立てとして「10年以内に10%を超える確率」を挙げた。加えて「Anthropicは最善を尽くしていると思うが、超知能のアラインメント問題を解く計画はまだなく、その実現に向けて明確な道筋があるわけでもない」との認識も示した。

TechCrunchのポッドキャスト「Equity」では、Anthony Ha氏、Kirsten Korosec氏、Sean O'Kane氏がこの一連のやり取りを取り上げた。番組内では、経営陣による「人類滅亡」への言及が本音の危機感なのか、モデルの性能の高さを誇示する裏返しの宣伝なのかという見方が示されたほか、Anthropicが計画する新規株式公開の目論見書(S-1)にこうした発言がどう影響しうるかという指摘もあった。一方でHa氏は、10%という数字に根拠が乏しいとして、労働への影響や環境負荷といった、より足元の課題に議論を向けるべきだと述べたという。