文章を単語ごとに照合する埋め込み手法、Sentence Transformersが対応

Hugging Faceは2026年8月18日、埋め込みモデルのオープンソースライブラリ「Sentence Transformers」のv6.0で、新しいモデル型「MultiVectorEncoder」を追加したと発表しました。これは文章全体を1本のベクトルに圧縮する従来型（デンスベクトル)とは異なり、単語(トークン)ごとに個別のベクトルを保持する「マルチベクトル(レイト・インタラクション)」方式を標準サポートするものです。検索分野の研究手法ColBERT由来のこの方式を、既存のColBERTチェックポイントやPyLate、ColPaliのモデルをそのまま読み込める形で扱えるようになりました。従来型に比べて検索精度が上がる一方、インデックスのサイズは大きく膨らむというトレードオフも合わせて示されています。

背景

文章検索や質問応答システムの多くは、文章を意味のベクトルに変換して類似度を比較する「埋め込みモデル」を使っています。従来主流だったのは文章全体を1本のベクトルに圧縮する「デンス(密)埋め込み」で、扱いやすく高速な半面、複数の条件を含む複雑なクエリでは情報が一つのベクトルに混ざり合ってしまい、精度が落ちる場合があるという課題が知られていました。この課題に対し、2020年にスタンフォード大学の研究チームが発表したColBERTは、単語単位でベクトルを保持し照合する「レイト・インタラクション」という手法を提案し、検索精度の向上策として研究コミュニティで扱われてきました。

詳細

記事によると、マルチベクトル方式の核心は「MaxSim」と呼ばれるスコアリングです。クエリ側の各単語について、文書側の単語の中から最も類似度が高いものを選び、その最大値を全単語について合計してスコアとします。例えば「木製脚のグリーンソファ」というクエリなら、「木製」「脚」「グリーン」「ソファ」という要素それぞれが文書内の対応箇所と個別に照合されるため、一部の条件しか満たさない文書が誤って高スコアになりにくいと説明されています。

新しいMultiVectorEncoderクラスは、スタンフォード大学の研究チームが公開しているColBERTの公式チェックポイント(colbert-ir/colbertv2.0など)を自動検出して直接読み込めるほか、PyLateで学習したモデル、画像を対象とするColPali系モデルも同じAPIで扱えます。利用にはtransformers v5.x、torch 2.2以上、huggingface-hub v1.xが必要とされています。

精度面では、13データセット平均(NanoBEIR、NDCG@10という指標)で、149Mパラメータのマルチベクトルモデル「LateOn」が0.6868、正則化版の「LateOn-regularized」が0.6897を記録し、同じバックボーンのデンスモデルと比較して13データセット中9データセットで上回ったとされています。一方でトレードオフとして、4,874件の文書を使ったベンチマークでは、デンスモデル(all-MiniLM-L6-v2)のインデックスが7.5MBだったのに対し、マルチベクトル方式(LateOn)は608,414個のベクトルで311.5MBと、約42倍のストレージを要したと報告されています。ただし専用の検索ライブラリ「fast-plaid」を使ったインデックスでは92MBまで圧縮でき、デンスモデルに近い水準になったとしています。また、トークンをまとめる「トークンプーリング」という圧縮技術を使うと、pool_factor=2の設定でベクトル数を半減させても性能の100.6%を維持できたと記事は述べています。

なぜ重要か

埋め込みモデルは、社内文書検索やFAQボット、RAG(検索拡張生成)など、日本の企業でもすでに広く使われているAI活用の基盤技術です。マルチベクトル方式が主要ライブラリで標準サポートされたことで、開発者は複雑な条件を含む検索での精度向上を、比較的手軽に試せる選択肢が増えたことになります。一方で、この記事が示すようにインデックスのサイズが数十倍に膨らむ可能性がある点は、導入コストやインフラ設計に直結する要素です。特に文書量が多いシステムでは、ストレージや検索速度への影響を事前に見極める必要がありそうです。

今後の見通し

記事の情報の範囲では、今後トークンプーリングやfast-plaidのような圧縮・高速化技術がさらに改良され、マルチベクトル方式の実用面での課題が緩和されていく可能性があります。ただし、どの程度のペースで主要な検索基盤や商用サービスに組み込まれていくかは、現時点では見通せません。