Hugging Faceに脱衣ディープフェイクツール、対策不十分と報告書が指摘

背景

Hugging Faceは、研究者や開発者が機械学習モデルを公開・共有し、「Spaces」と呼ばれる簡易アプリとして誰でも試せる形で提供できる、オープンソースAI分野で広く使われるプラットフォームです。画像生成・編集AIの性能向上に伴い、既存の写真から人物の服を脱がせる、いわゆる「ヌード化(nudify)」ツールが各種の生成AIサービス上で問題視されるケースが世界的に増えています。本人の同意なく性的な画像を作る行為は多くの国・地域で法的・社会的な問題として扱われており、未成年者が対象になった場合はより重大な違法行為となります。

詳細

AI Forensicsの調査は、Hugging Face上で公開されている画像編集モデルの安全性を検証する目的で行われました。研究チームは人気の高い上位9モデルに対し、共通の指示文で衣服を脱がせる画像への変換を試みたところ、7モデルが目立った制限なくこれに応じたとされています。

さらに研究チームは、実際には画像を生成しない「おとり」のアプリをHugging Face上に設置し、一般ユーザーがどのような目的でアクセスしてくるかを7日間にわたって観察しました。集まったプロンプトと画像アップロードは1,000件を超え、その分析から、性的な目的での利用が突出して多いことが明らかになったとされています。とりわけ、対象の大多数が女性であること、そして一定割合で子どもとみられる人物が標的にされていたことは、深刻な問題として報告書内で強調されています。

報告書は、Hugging Face自体の利用規約が児童性的虐待表現や非同意の性的ディープフェイクを明確に禁じているにもかかわらず、実際の安全対策の有無はアプリを公開する個々の開発者の判断に委ねられており、プラットフォーム全体としての一律なフィルタリングや監視の仕組みがほとんど存在しない点を問題視しています。調査を主導したポール・ブショー氏は「プラットフォームレベルでの安全対策は一切実装されていない。開発者が望めば対策を入れられるが、大半はそうしていない」と述べたと伝えられています。なお、報道機関からの問い合わせを受けて、ヌード化サービスを宣伝していた一部のページが削除されたともされていますが、Hugging Face側はその因果関係を確認していないと報じられています。AI Forensicsは、画像や動画を生成するすべてのSpacesに対し、入力段階でのプロンプトのフィルタリングと、出力段階での生成物のスキャンを組み合わせた対策を導入するようHugging Face側に求めているとされています。

なぜ重要か

この問題は海外の一プラットフォームに限った話ではなく、オープンソースAIモデルを誰でも自由に組み合わせて公開できるエコシステム全体が抱えるリスクを示しています。日本国内でも、生成AIを使った画像編集ツールや類似のWebサービス・アプリの利用は広がっており、本人の同意のない性的ディープフェイクの作成・拡散は名誉毀損やプライバシー侵害、児童が関わる場合はより重い法的責任につながり得ます。AIサービスを提供・仲介する事業者にとって、モデルやアプリを「誰が」「どう審査するか」という体制の有無が、利用者保護だけでなく事業者自身の信頼・法的リスク管理にも直結する論点であることを、この報告書は改めて示しています。

今後の見通し

Hugging Face側が今回の指摘を受けてプラットフォーム全体の安全対策を強化するかどうかは、現時点では明らかになっていません。海外では同種の「ヌード化」ツールを巡る規制強化や訴訟の動きも報じられており、今後もAIプラットフォーム事業者に対するコンテンツモデレーション責任を問う声が強まる可能性があります。