MetaEmbed: Масштабирование мультимодального поиска во время тестирования с гибким поздним взаимодействием

MetaEmbed: Scaling Multimodal Retrieval at Test-Time with Flexible Late Interaction

September 22, 2025

Авторы: Zilin Xiao, Qi Ma, Mengting Gu, Chun-cheng Jason Chen, Xintao Chen, Vicente Ordonez, Vijai Mohan

cs.AI

Аннотация

Универсальные мультимодальные модели эмбеддингов достигли значительных успехов в захвате семантической релевантности между запросами и кандидатами. Однако современные методы либо сжимают запросы и кандидаты в единый вектор, что потенциально ограничивает выразительность для детализированной информации, либо создают слишком много векторов, что делает многомерный поиск непомерно дорогим. В данной работе мы представляем MetaEmbed — новый фреймворк для мультимодального поиска, который переосмысливает построение и взаимодействие с мультимодальными эмбеддингами в масштабе. Во время обучения к входной последовательности добавляется фиксированное количество обучаемых Meta Tokens. На этапе тестирования их контекстуализированные представления из последнего слоя служат компактными, но выразительными многомерными эмбеддингами. Благодаря предложенному обучению Matryoshka Multi-Vector Retrieval, MetaEmbed учится организовывать информацию по уровню детализации в нескольких векторах. В результате мы обеспечиваем масштабируемость на этапе тестирования в мультимодальном поиске, где пользователи могут балансировать между качеством поиска и требованиями к эффективности, выбирая количество токенов, используемых для индексации и взаимодействий при поиске. Обширные оценки на Massive Multimodal Embedding Benchmark (MMEB) и Visual Document Retrieval Benchmark (ViDoRe) подтверждают, что MetaEmbed достигает передовых показателей в поиске, одновременно демонстрируя устойчивое масштабирование для моделей с 32 миллиардами параметров.

English

Universal multimodal embedding models have achieved great success in capturing semantic relevance between queries and candidates. However, current methods either condense queries and candidates into a single vector, potentially limiting the expressiveness for fine-grained information, or produce too many vectors that are prohibitively expensive for multi-vector retrieval. In this work, we introduce MetaEmbed, a new framework for multimodal retrieval that rethinks how multimodal embeddings are constructed and interacted with at scale. During training, a fixed number of learnable Meta Tokens are appended to the input sequence. At test-time, their last-layer contextualized representations serve as compact yet expressive multi-vector embeddings. Through the proposed Matryoshka Multi-Vector Retrieval training, MetaEmbed learns to organize information by granularity across multiple vectors. As a result, we enable test-time scaling in multimodal retrieval, where users can balance retrieval quality against efficiency demands by selecting the number of tokens used for indexing and retrieval interactions. Extensive evaluations on the Massive Multimodal Embedding Benchmark (MMEB) and the Visual Document Retrieval Benchmark (ViDoRe) confirm that MetaEmbed achieves state-of-the-art retrieval performance while scaling robustly to models with 32B parameters.