MetaEmbed: Escalando la Recuperación Multimodal en el Momento de Prueba con Interacción Tardía Flexible
MetaEmbed: Scaling Multimodal Retrieval at Test-Time with Flexible Late Interaction
September 22, 2025
Autores: Zilin Xiao, Qi Ma, Mengting Gu, Chun-cheng Jason Chen, Xintao Chen, Vicente Ordonez, Vijai Mohan
cs.AI
Resumen
Los modelos universales de embeddings multimodales han logrado un gran éxito en capturar la relevancia semántica entre consultas y candidatos. Sin embargo, los métodos actuales o bien condensan las consultas y los candidatos en un solo vector, lo que potencialmente limita la expresividad para información detallada, o producen demasiados vectores que resultan prohibitivamente costosos para la recuperación multi-vector. En este trabajo, presentamos MetaEmbed, un nuevo marco para la recuperación multimodal que replantea cómo se construyen e interactúan los embeddings multimodales a gran escala. Durante el entrenamiento, se añade un número fijo de Meta Tokens aprendibles a la secuencia de entrada. En el momento de la prueba, sus representaciones contextualizadas de la última capa sirven como embeddings multi-vector compactos pero expresivos. A través del entrenamiento propuesto de Recuperación Multi-Vector Matryoshka, MetaEmbed aprende a organizar la información por granularidad en múltiples vectores. Como resultado, habilitamos la escalabilidad en tiempo de prueba en la recuperación multimodal, donde los usuarios pueden equilibrar la calidad de la recuperación con las demandas de eficiencia seleccionando el número de tokens utilizados para la indexación y las interacciones de recuperación. Evaluaciones exhaustivas en el Massive Multimodal Embedding Benchmark (MMEB) y el Visual Document Retrieval Benchmark (ViDoRe) confirman que MetaEmbed alcanza un rendimiento de recuperación de vanguardia mientras escala robustamente a modelos con 32B parámetros.
English
Universal multimodal embedding models have achieved great success in
capturing semantic relevance between queries and candidates. However, current
methods either condense queries and candidates into a single vector,
potentially limiting the expressiveness for fine-grained information, or
produce too many vectors that are prohibitively expensive for multi-vector
retrieval. In this work, we introduce MetaEmbed, a new framework for multimodal
retrieval that rethinks how multimodal embeddings are constructed and
interacted with at scale. During training, a fixed number of learnable Meta
Tokens are appended to the input sequence. At test-time, their last-layer
contextualized representations serve as compact yet expressive multi-vector
embeddings. Through the proposed Matryoshka Multi-Vector Retrieval training,
MetaEmbed learns to organize information by granularity across multiple
vectors. As a result, we enable test-time scaling in multimodal retrieval,
where users can balance retrieval quality against efficiency demands by
selecting the number of tokens used for indexing and retrieval interactions.
Extensive evaluations on the Massive Multimodal Embedding Benchmark (MMEB) and
the Visual Document Retrieval Benchmark (ViDoRe) confirm that MetaEmbed
achieves state-of-the-art retrieval performance while scaling robustly to
models with 32B parameters.