MetaEmbed: Skalierung der multimodalen Suche zur Testzeit mit flexibler späten Interaktion

MetaEmbed: Scaling Multimodal Retrieval at Test-Time with Flexible Late Interaction

September 22, 2025

papers.authors: Zilin Xiao, Qi Ma, Mengting Gu, Chun-cheng Jason Chen, Xintao Chen, Vicente Ordonez, Vijai Mohan

cs.AI

papers.abstract

Universelle multimodale Embedding-Modelle haben große Erfolge bei der Erfassung semantischer Relevanz zwischen Anfragen und Kandidaten erzielt. Allerdings komprimieren aktuelle Methoden entweder Anfragen und Kandidaten in einen einzelnen Vektor, was die Ausdrucksfähigkeit für fein abgestufte Informationen potenziell einschränkt, oder sie erzeugen zu viele Vektoren, die für die Mehrvektor-Retrieval unpraktikabel teuer sind. In dieser Arbeit stellen wir MetaEmbed vor, ein neues Framework für multimodale Retrieval, das überdenkt, wie multimodale Embeddings konstruiert und in großem Maßstab interagiert werden. Während des Trainings wird eine feste Anzahl von lernbaren Meta-Tokens an die Eingabesequenz angehängt. Zur Testzeit dienen ihre kontextualisierten Darstellungen der letzten Schicht als kompakte, aber ausdrucksstarke Mehrvektor-Embeddings. Durch das vorgeschlagene Matryoshka-Multi-Vector-Retrieval-Training lernt MetaEmbed, Informationen nach Granularität über mehrere Vektoren zu organisieren. Dadurch ermöglichen wir eine Skalierung zur Testzeit im multimodalen Retrieval, bei der Benutzer die Retrieval-Qualität gegen Effizienzanforderungen abwägen können, indem sie die Anzahl der für die Indizierung und Retrieval-Interaktionen verwendeten Tokens auswählen. Umfangreiche Auswertungen auf dem Massive Multimodal Embedding Benchmark (MMEB) und dem Visual Document Retrieval Benchmark (ViDoRe) bestätigen, dass MetaEmbed state-of-the-art Retrieval-Leistungen erzielt und dabei robust auf Modelle mit 32B Parametern skaliert.

English

Universal multimodal embedding models have achieved great success in capturing semantic relevance between queries and candidates. However, current methods either condense queries and candidates into a single vector, potentially limiting the expressiveness for fine-grained information, or produce too many vectors that are prohibitively expensive for multi-vector retrieval. In this work, we introduce MetaEmbed, a new framework for multimodal retrieval that rethinks how multimodal embeddings are constructed and interacted with at scale. During training, a fixed number of learnable Meta Tokens are appended to the input sequence. At test-time, their last-layer contextualized representations serve as compact yet expressive multi-vector embeddings. Through the proposed Matryoshka Multi-Vector Retrieval training, MetaEmbed learns to organize information by granularity across multiple vectors. As a result, we enable test-time scaling in multimodal retrieval, where users can balance retrieval quality against efficiency demands by selecting the number of tokens used for indexing and retrieval interactions. Extensive evaluations on the Massive Multimodal Embedding Benchmark (MMEB) and the Visual Document Retrieval Benchmark (ViDoRe) confirm that MetaEmbed achieves state-of-the-art retrieval performance while scaling robustly to models with 32B parameters.