xAI、Grokで児童性的虐待画像を作った疑いのユーザーを提訴

今回の提訴は、AI企業がGrokを悪用したとされるユーザーを相手取って起こす訴訟としては初めてのケースとみられます。イーロン・マスク氏率いるxAIが、対話型AI「Grok」を悪用して児童性的虐待画像(CSAM)を作成したとして、サウスカロライナ州の男性を提訴したと、Ars Technicaなど複数の海外メディアが報じました。今回の提訴は、xAI自身がGrok経由のCSAM生成問題を巡り複数の集団訴訟の被告となっている最中に行われたもので、その対応の是非が議論を呼んでいます。

背景

生成AIの画像編集機能を巡っては、実在の人物の写真を性的な画像に加工する「ノンコンセンサル・ディープフェイク」が国際的な問題になっています。Metaも公開Instagramアカウントを無断でAI画像生成の素材に使える機能を発表直後に撤回したばかりで、本人の同意なく容姿を扱うAI機能への警戒は業界共通の課題になっています。xAIの画像生成機能「Grok Imagine」は2025年8月、他社より緩い安全基準で提供が始まり、有料の「Spicy(スパイシー)モード」では露骨な性的表現も許容される仕様だったと報じられています。2025年12月にはX(旧Twitter)上での画像生成・編集機能が拡張され、悪用が急増したとされています。

詳細

海外報道によると、xAIは2026年7月14日、テキサス州北部地区連邦地方裁判所にハーウッド被告を提訴しました。起訴内容では、被告が虚偽の身元で開設した複数のxAIアカウントを使い、意図的にGrokの安全装置を回避するプロンプトを入力して、実在する未成年者を含む人物の画像を性的な内容に加工したと主張されています。被告は2026年3月に児童性的搾取の疑いで逮捕されており、xAIはこの捜査に協力したとしています。訴訟でxAIは、被告による今後のアカウント作成や規約回避行為の差し止め、および金銭的損害賠償を求めているほか、Grok自体は「ユーザーの管理下にある中立的なツール」であり、生成されたCSAMの責任はサービス規約上ユーザー側にあるとの立場を示していると報じられています。

一方でxAIは、Grokを巡る別の集団訴訟でも被告となっています。複数の少女とその家族が、自分たちの写真から性的虐待画像を生成されたとしてxAIを提訴しており、その中には11歳の少女の写真から約7,000点の性的画像・動画が生成されたとする訴えも含まれています。この事案では、加害者とされる継父が逮捕・保釈後に死亡したと海外メディアが伝えています。原告側は、Grokが露骨な性的表現を十分に検知できず、具体的な性暴力を示唆するプロンプトが入力されるまでNCMECへの通報が行われなかったと主張しているほか、xAIが捜査機関への画像やIPアドレスなどの情報提供を怠ったとも指摘しています。

xAIが示す「52,222件のアカウント停止・73,604件のNCMEC通報」という実績の一方で、NCMECの報告書によれば、xAIからの通報のうち9割は捜査機関が加害者を特定できるだけのユーザー情報を含んでおらず、対応が困難だったとも報じられています。

なぜ重要か

生成AIによる画像編集・生成機能が一般ユーザーに広く開放される中、児童の安全を守る仕組みをどう組み込むかは、サービス提供企業にとって避けて通れない課題になっています。各国のAIガバナンス・規制の大きな流れを踏まえておくことも、こうした安全対策を検討する土台になります。今回のケースは、AI企業が自社サービスの悪用者を提訴するという新しい対応パターンを示した一方、企業自身の安全対策の不備が同時に問われている点で、責任の所在を巡る議論の材料になりそうです。日本国内でも画像生成AIサービスの提供・活用が広がっており、海外の法的動向は国内事業者の利用規約設計や安全対策の参考になり得ます。

今後の見通し

xAIによる今回の提訴の帰趨や、xAI自身が被告となっている複数の集団訴訟の行方によって、AI企業が負う安全管理責任の範囲についての議論がさらに進む可能性があります。各国の規制当局や業界団体による対応の動きも、今後注視すべきポイントとなりそうです。