MetaEmbed: 유연한 후기 상호작용을 통한 테스트 시간 다중모드 검색 확장
MetaEmbed: Scaling Multimodal Retrieval at Test-Time with Flexible Late Interaction
September 22, 2025
저자: Zilin Xiao, Qi Ma, Mengting Gu, Chun-cheng Jason Chen, Xintao Chen, Vicente Ordonez, Vijai Mohan
cs.AI
초록
범용 멀티모달 임베딩 모델은 쿼리와 후보 간의 의미적 관련성을 포착하는 데 큰 성공을 거두었습니다. 그러나 현재의 방법들은 쿼리와 후보를 단일 벡터로 압축하여 세부 정보의 표현력을 제한하거나, 다중 벡터 검색에 비용이 너무 많이 드는 수많은 벡터를 생성하는 한계가 있습니다. 본 연구에서는 멀티모달 임베딩이 대규모로 구성되고 상호작용되는 방식을 재고하는 새로운 프레임워크인 MetaEmbed를 소개합니다. 학습 과정에서 고정된 수의 학습 가능한 메타 토큰이 입력 시퀀스에 추가됩니다. 테스트 시, 이들의 최종 계층에서 문맥화된 표현은 간결하면서도 표현력 있는 다중 벡터 임베딩으로 기능합니다. 제안된 Matryoshka 다중 벡터 검색 학습을 통해 MetaEmbed는 여러 벡터에 걸쳐 세분화된 정보를 조직하는 방법을 학습합니다. 결과적으로, 사용자가 인덱싱 및 검색 상호작용에 사용할 토큰 수를 선택하여 검색 품질과 효율성 요구 사항 간의 균형을 맞출 수 있는 멀티모달 검색의 테스트 시 스케일링이 가능해집니다. Massive Multimodal Embedding Benchmark(MMEB)와 Visual Document Retrieval Benchmark(ViDoRe)에 대한 광범위한 평가를 통해 MetaEmbed가 320억 개의 파라미터를 가진 모델에 대해 견고하게 확장되면서도 최첨단 검색 성능을 달성함을 확인했습니다.
English
Universal multimodal embedding models have achieved great success in
capturing semantic relevance between queries and candidates. However, current
methods either condense queries and candidates into a single vector,
potentially limiting the expressiveness for fine-grained information, or
produce too many vectors that are prohibitively expensive for multi-vector
retrieval. In this work, we introduce MetaEmbed, a new framework for multimodal
retrieval that rethinks how multimodal embeddings are constructed and
interacted with at scale. During training, a fixed number of learnable Meta
Tokens are appended to the input sequence. At test-time, their last-layer
contextualized representations serve as compact yet expressive multi-vector
embeddings. Through the proposed Matryoshka Multi-Vector Retrieval training,
MetaEmbed learns to organize information by granularity across multiple
vectors. As a result, we enable test-time scaling in multimodal retrieval,
where users can balance retrieval quality against efficiency demands by
selecting the number of tokens used for indexing and retrieval interactions.
Extensive evaluations on the Massive Multimodal Embedding Benchmark (MMEB) and
the Visual Document Retrieval Benchmark (ViDoRe) confirm that MetaEmbed
achieves state-of-the-art retrieval performance while scaling robustly to
models with 32B parameters.