UEmbed: 통합된 희소 및 밀집 멀티모달 임베딩

초록

희소 검색은 웹 검색에서 검색 증강 생성에 이르기까지 현대 검색 시스템의 기반을 이룬다. 기존 연구는 정확한 어휘 매칭을 넘어 더 풍부한 의미를 포착하기 위해 학습된 희소 검색(LSR)을 도입했다. 그러나 LSR은 여전히 인코더 기반 양방향 아키텍처에 묶여 있으며, 멀티모달 설정으로의 확장은 여전히 보조 교차 모달 모듈에 크게 의존한다. 이러한 한계를 해결하기 위해 우리는 UEmbed(Unified Embedding)를 제안한다. UEmbed는 단일 인과적 순방향 패스에서 희소 어휘 표현과 밀집 표현을 모두 생성하는 디코더 전용 멀티모달 임베딩 모델이다. UEmbed는 입력에 N개의 학습 가능한 특수 토큰을 추가하고 어휘를 N개의 분리된 부분 집합으로 분할한다. 각 토큰의 인과적 은닉 상태는 할당된 부분 집합에 대한 희소 가중치를 예측하며, N개의 부분 집합은 연결되어 전체 희소 벡터를 구성한다. 공개 데이터로 학습된 UEmbed는 2B, 4B, 9B 규모로 공개된다. UEmbed-9B는 MMEB-v2에서 밀집 71.8, 희소 71.0을 달성하여 공개 데이터로 학습된 멀티모달 임베딩 모델(예: RzenEmbed)을 능가한다. BEIR에서도 UEmbed는 강력한 밀집 및 희소 기준선과 경쟁력 있는 성능을 유지한다. 또한 우리는 세 가지 측면, 즉 효과성, 효율성, 에이전트 애플리케이션에서 UEmbed의 실용적 유용성을 입증한다. 전반적으로 UEmbed는 새로운 패러다임을 제시한다. 단일 모델에서 밀집 및 희소 임베딩을 통합할 뿐만 아니라 희소 검색을 텍스트와 멀티모달 입력 모두로 확장한다.

English

Sparse retrieval underpins modern search systems, from web search to retrieval-augmented generation. Existing work has introduced Learned Sparse Retrieval (LSR) to push beyond exact lexical matching toward richer semantics. Yet LSR has so far remained tied to encoder-style bidirectional architectures, and its extension to multimodal settings still relies heavily on auxiliary cross-modal modules. To address these limitations, we introduce UEmbed (Unified Embedding), a decoder-only multimodal embedding model that produces both sparse lexical and dense representations in one causal forward pass. UEmbed appends N learnable special tokens to the input and partitions the vocabulary into N disjoint subsets. Each token's causal hidden state predicts sparse weights over its assigned subset, and the N subsets are concatenated into the full sparse vector. Trained on public data, we release UEmbed at 2B, 4B, and 9B scales. UEmbed-9B reaches 71.8 (dense) and 71.0 (sparse) on MMEB-v2, outperforming multimodal embedding models trained on publicly available data (e.g., RzenEmbed). On BEIR, UEmbed also remains competitive with strong dense and sparse baselines. Furthermore, we demonstrate the practical utility of UEmbed across three dimensions: effectiveness, efficiency, and agentic applications. Overall, UEmbed offers a new paradigm: it unifies dense and sparse embeddings in one model, while further extending sparse retrieval to unify text and multimodal inputs.