UEmbed: 統合スパース・デンス・マルチモーダル埋め込み

要旨

スパース検索は、ウェブ検索から検索拡張生成（RAG）に至るまで、現代の検索システムの基盤を成している。既存研究では、厳密な語彙一致を超えてより豊かな意味論を実現するため、学習型スパース検索（LSR）が導入されてきた。しかしながら、LSRはこれまでエンコーダ型の双方向アーキテクチャに強く結びついており、マルチモーダル設定への拡張も依然として補助的なクロスモーダルモジュールに大きく依存している。これらの限界に対処するため、我々はUEmbed（Unified Embedding）を提案する。これはデコーダ専用のマルチモーダル埋め込みモデルであり、単一の因果的順伝播（causal forward pass）でスパースな語彙表現と高密度表現の両方を生成する。UEmbedは入力にN個の学習可能な特殊トークンを付加し、語彙をN個の互いに素な部分集合に分割する。各トークンの因果的隠れ状態は、割り当てられた部分集合に対するスパース重みを予測し、N個の部分集合を連結して完全なスパースベクトルを形成する。公開データで学習したUEmbedを、2B・4B・9Bのスケールで公開する。UEmbed-9BはMMEB-v2において、高密度表現で71.8、スパース表現で71.0を達成し、公開データで学習されたマルチモーダル埋め込みモデル（例：RzenEmbed）を上回る。BEIRにおいても、UEmbedは強力な高密度・スパースベースラインと競合する性能を維持する。さらに、有効性・効率性・エージェント応用という3つの側面において、UEmbedの実用的有用性を実証する。総じて、UEmbedは新たなパラダイムを提供する。すなわち、単一モデル内で高密度埋め込みとスパース埋め込みを統合しつつ、スパース検索をさらに拡張してテキストとマルチモーダル入力を統一的に扱うものである。

English

Sparse retrieval underpins modern search systems, from web search to retrieval-augmented generation. Existing work has introduced Learned Sparse Retrieval (LSR) to push beyond exact lexical matching toward richer semantics. Yet LSR has so far remained tied to encoder-style bidirectional architectures, and its extension to multimodal settings still relies heavily on auxiliary cross-modal modules. To address these limitations, we introduce UEmbed (Unified Embedding), a decoder-only multimodal embedding model that produces both sparse lexical and dense representations in one causal forward pass. UEmbed appends N learnable special tokens to the input and partitions the vocabulary into N disjoint subsets. Each token's causal hidden state predicts sparse weights over its assigned subset, and the N subsets are concatenated into the full sparse vector. Trained on public data, we release UEmbed at 2B, 4B, and 9B scales. UEmbed-9B reaches 71.8 (dense) and 71.0 (sparse) on MMEB-v2, outperforming multimodal embedding models trained on publicly available data (e.g., RzenEmbed). On BEIR, UEmbed also remains competitive with strong dense and sparse baselines. Furthermore, we demonstrate the practical utility of UEmbed across three dimensions: effectiveness, efficiency, and agentic applications. Overall, UEmbed offers a new paradigm: it unifies dense and sparse embeddings in one model, while further extending sparse retrieval to unify text and multimodal inputs.