LLMの次なる主役は？ 新興5社が挑む「脱トランスフォーマー」

Googleの研究者が2017年にトランスフォーマーを提唱してから9年、この仕組みは今やほぼ全ての主要LLMの基盤となっています。しかしMIT Technology Reviewの報道によると、テキスト量の増加につれて計算コストが急増する「密な注意機構」がボトルネックとなりつつあり、複数のスタートアップが代替アーキテクチャの開発に乗り出しています。同メディアは同じ号で、AI学術研究の現場がLLM時代にどう変化しているかも報じており、資金力で圧倒的な民間AI企業との差の中で大学の研究者たちが立ち位置を模索している実態を伝えています。

背景

トランスフォーマーは2017年のGoogle論文「Attention Is All You Need」で提唱され、文章中の単語同士の関連を計算する「注意機構」によって長い文脈を効率的に扱えるようになったことで、GPTをはじめとする主要LLMの標準アーキテクチャとなりました。一方で近年は、AI研究の主戦場が資金力に勝る民間企業へと移り、大学の研究者は計算資源や研究費の面で厳しい立場に置かれているとも指摘されています。

詳細

MIT Technology Reviewによると、トランスフォーマーの「密な注意機構」は文章中の全ての単語ペアの関連度を計算するため、テキストが長くなるほど計算量が急増します。同記事では、OpenAIが2026年に計算コストが50億ドルに達すると予測されていると伝えられ、国際エネルギー機関(IEA)はデータセンターの電力消費が2030年までに倍増すると見込んでいるとも紹介されています。

こうした課題に対し、複数のスタートアップが異なるアプローチで挑んでいると報じられています。マイアミ拠点のSubquadraticは、重要な単語だけを選んで処理する「疎な注意機構」を開発し、待機リストには数千人が登録していると伝えられています。サンフランシスコのManifest AIは「power retention」という仕組みで文脈を動的に要約するモデルを開発しています。マサチューセッツ州ケンブリッジのMIT発スタートアップLiquid AIは、生物の神経回路を模した「液体ニューラルネットワーク」とトランスフォーマーを組み合わせたモデルで、同程度の規模の他モデルに比べ4倍の効率を実現したと主張していると報じられています。パロアルトのInceptionは、単語を1つずつでなく文章のまとまりごとに生成する「拡散モデル」を採用しており、Googleも同様の手法で「Diffusion Gemma」というプロトタイプを開発中だとされています。同じくパロアルトのPathwayは、言語表現に頼らない「状態空間」型のモデル「Dragon Hatchling」を開発し、25万問超の数独パズルで97%以上の成功率を記録した一方、主要な大手LLMは0%だったと報じられています。

一方、同じ号でMIT Technology Reviewは、AI学術研究の現場がこの4年でLLM中心にシフトし、研究の最先端が大学から民間企業へと移りつつあると報じています。Eric and Wendy Schmidt夫妻が資金を提供する「Schmidt Sciences AI2050」プログラムに参加する研究者を取材したところ、UCバークレーのNika Haghtalab氏、ジョンズ・ホプキンス大学のAnjalie Field氏、カーネギーメロン大学のTim Dettmers氏らが登場し、同プログラムがGPU購入費用を支援している点は大きな助けになっていると評価する声が紹介されています。ただし米国の連邦科学予算の削減に加え、OpenAI・Anthropic・Googleのモデルに繰り返し問い合わせるコストが「法外」になり得ることも課題として挙げられており、多くの研究者はAnthropicやOpenAIが取り組みそうにない問いにあえて焦点を当てているとも伝えられています。

なぜ重要か

トランスフォーマーの代替技術が実用化されれば、同じ性能のAIをより低コスト・低消費電力で動かせる可能性があり、日本国内でAIサービスを提供・利用する企業にとっても、将来的なAPI利用料や電力コストの動向に関わってくるテーマです。また学術研究が民間企業に牽引される構図は日本の大学・研究機関にとっても他人事ではなく、研究資金と計算資源をどう確保するかという論点は共通しています。いずれの技術も現時点では初期段階の主張・ベンチマーク結果であり、実際の商用モデルへの採用や性能の一般化にはさらなる検証が必要な点には留意が必要です。

今後の見通し

記事で紹介された各社の技術がどこまで既存のトランスフォーマー系モデルに匹敵する性能を、実運用の規模で発揮できるかは今後のベンチマークや実装事例を待つ必要があります。学術研究側の資金環境についても、連邦予算や民間からの支援の動向次第で状況が変わる可能性があり、引き続き報道を注視したいところです。