MetaEmbed: Escalonamento de Recuperação Multimodal em Tempo de Teste com Interação Tardia Flexível

MetaEmbed: Scaling Multimodal Retrieval at Test-Time with Flexible Late Interaction

September 22, 2025

Autores: Zilin Xiao, Qi Ma, Mengting Gu, Chun-cheng Jason Chen, Xintao Chen, Vicente Ordonez, Vijai Mohan

cs.AI

Resumo

Modelos universais de incorporação multimodal têm obtido grande sucesso na captura da relevância semântica entre consultas e candidatos. No entanto, os métodos atuais ou condensam consultas e candidatos em um único vetor, potencialmente limitando a expressividade para informações refinadas, ou produzem muitos vetores que são proibitivamente caros para recuperação multivectorial. Neste trabalho, introduzimos o MetaEmbed, um novo framework para recuperação multimodal que repensa como as incorporações multimodais são construídas e interagidas em escala. Durante o treinamento, um número fixo de Meta Tokens aprendíveis é anexado à sequência de entrada. No momento do teste, suas representações contextualizadas da última camada servem como incorporações multivectoriais compactas, porém expressivas. Por meio do treinamento proposto de Recuperação Multivectorial Matryoshka, o MetaEmbed aprende a organizar informações por granularidade em múltiplos vetores. Como resultado, permitimos a escalabilidade no momento do teste em recuperação multimodal, onde os usuários podem equilibrar a qualidade da recuperação contra as demandas de eficiência ao selecionar o número de tokens usados para indexação e interações de recuperação. Avaliações extensivas no Massive Multimodal Embedding Benchmark (MMEB) e no Visual Document Retrieval Benchmark (ViDoRe) confirmam que o MetaEmbed alcança desempenho de recuperação de última geração enquanto escala robustamente para modelos com 32 bilhões de parâmetros.

English

Universal multimodal embedding models have achieved great success in capturing semantic relevance between queries and candidates. However, current methods either condense queries and candidates into a single vector, potentially limiting the expressiveness for fine-grained information, or produce too many vectors that are prohibitively expensive for multi-vector retrieval. In this work, we introduce MetaEmbed, a new framework for multimodal retrieval that rethinks how multimodal embeddings are constructed and interacted with at scale. During training, a fixed number of learnable Meta Tokens are appended to the input sequence. At test-time, their last-layer contextualized representations serve as compact yet expressive multi-vector embeddings. Through the proposed Matryoshka Multi-Vector Retrieval training, MetaEmbed learns to organize information by granularity across multiple vectors. As a result, we enable test-time scaling in multimodal retrieval, where users can balance retrieval quality against efficiency demands by selecting the number of tokens used for indexing and retrieval interactions. Extensive evaluations on the Massive Multimodal Embedding Benchmark (MMEB) and the Visual Document Retrieval Benchmark (ViDoRe) confirm that MetaEmbed achieves state-of-the-art retrieval performance while scaling robustly to models with 32B parameters.