MetaEmbed: Schaalbaarheid van multimodale retrievel tijdens testen met flexibele late interactie

MetaEmbed: Scaling Multimodal Retrieval at Test-Time with Flexible Late Interaction

September 22, 2025

Auteurs: Zilin Xiao, Qi Ma, Mengting Gu, Chun-cheng Jason Chen, Xintao Chen, Vicente Ordonez, Vijai Mohan

cs.AI

Samenvatting

Universele multimodale inbeddingsmodellen hebben groot succes geboekt in het vastleggen van semantische relevantie tussen queries en kandidaten. Huidige methodes comprimeren echter queries en kandidaten tot een enkele vector, wat mogelijk de expressiviteit voor fijnmazige informatie beperkt, of produceren te veel vectoren die onpraktisch duur zijn voor multivector-retrieval. In dit werk introduceren we MetaEmbed, een nieuw raamwerk voor multimodale retrieval dat heroverweegt hoe multimodale inbeddingen worden geconstrueerd en op grote schaal worden geïnterageerd. Tijdens de training wordt een vast aantal leerbare Meta-Tokens toegevoegd aan de invoerreeks. Tijdens de testfase dienen hun gecontextualiseerde representaties uit de laatste laag als compacte maar expressieve multivector-inbeddingen. Door de voorgestelde Matryoshka Multivector Retrieval-training leert MetaEmbed informatie te organiseren op granulariteit over meerdere vectoren. Hierdoor maken we schaling tijdens de testfase mogelijk in multimodale retrieval, waarbij gebruikers een balans kunnen vinden tussen retrievalkwaliteit en efficiëntie-eisen door het aantal tokens te selecteren dat wordt gebruikt voor indexering en retrieval-interacties. Uitgebreide evaluaties op de Massive Multimodal Embedding Benchmark (MMEB) en de Visual Document Retrieval Benchmark (ViDoRe) bevestigen dat MetaEmbed state-of-the-art retrievakwaliteit bereikt terwijl het robuust schaalt naar modellen met 32B parameters.

English

Universal multimodal embedding models have achieved great success in capturing semantic relevance between queries and candidates. However, current methods either condense queries and candidates into a single vector, potentially limiting the expressiveness for fine-grained information, or produce too many vectors that are prohibitively expensive for multi-vector retrieval. In this work, we introduce MetaEmbed, a new framework for multimodal retrieval that rethinks how multimodal embeddings are constructed and interacted with at scale. During training, a fixed number of learnable Meta Tokens are appended to the input sequence. At test-time, their last-layer contextualized representations serve as compact yet expressive multi-vector embeddings. Through the proposed Matryoshka Multi-Vector Retrieval training, MetaEmbed learns to organize information by granularity across multiple vectors. As a result, we enable test-time scaling in multimodal retrieval, where users can balance retrieval quality against efficiency demands by selecting the number of tokens used for indexing and retrieval interactions. Extensive evaluations on the Massive Multimodal Embedding Benchmark (MMEB) and the Visual Document Retrieval Benchmark (ViDoRe) confirm that MetaEmbed achieves state-of-the-art retrieval performance while scaling robustly to models with 32B parameters.