VLM2Vec-V2: Vooruitgang in Multimodale Embedding voor Video's, Afbeeldingen en Visuele Documenten

VLM2Vec-V2: Advancing Multimodal Embedding for Videos, Images, and Visual Documents

July 7, 2025

Auteurs: Rui Meng, Ziyan Jiang, Ye Liu, Mingyi Su, Xinyi Yang, Yuepeng Fu, Can Qin, Zeyuan Chen, Ran Xu, Caiming Xiong, Yingbo Zhou, Wenhu Chen, Semih Yavuz

cs.AI

Samenvatting

Multimodale inbeddingsmodellen zijn van cruciaal belang geweest voor het mogelijk maken van verschillende downstream taken, zoals semantische gelijkenis, informatieherwinning en clustering over verschillende modaliteiten. Bestaande multimodale inbeddingen zoals VLM2Vec, E5-V en GME zijn echter voornamelijk gericht op natuurlijke afbeeldingen, met beperkte ondersteuning voor andere visuele vormen zoals video's en visuele documenten. Dit beperkt hun toepasbaarheid in real-world scenario's, waaronder AI-agenten, multimodale zoek- en aanbevelingssystemen, en retrieval-augmented generation (RAG). Om deze kloof te dichten, stellen we VLM2Vec-V2 voor, een uniform raamwerk voor het leren van inbeddingen over diverse visuele vormen. Ten eerste introduceren we MMEB-V2, een uitgebreide benchmark die MMEB uitbreidt met vijf nieuwe taaktypen: visuele documentherwinning, videoretrieval, temporele gronding, videoclassificatie en video-vraagbeantwoording – die tekst, afbeeldingen, video's en visuele documenten omvatten. Vervolgens trainen we VLM2Vec-V2, een algemeen inbeddingsmodel dat tekst, afbeeldingen, video's en visuele documenten ondersteunt. Uitgebreide experimenten tonen aan dat VLM2Vec-V2 niet alleen sterke prestaties levert op de nieuw geïntroduceerde video- en documentherwinningstaken, maar ook verbeteringen laat zien ten opzichte van eerdere baselines op de originele afbeeldingsbenchmarks. Door middel van uitgebreide evaluatie biedt onze studie inzichten in de generaliseerbaarheid van verschillende multimodale inbeddingsmodellen en belicht het effectieve strategieën voor uniform inbeddingsleren, wat de basis legt voor meer schaalbare en aanpasbare representatieleerprocessen in zowel onderzoek als real-world toepassingen.

English

Multimodal embedding models have been crucial in enabling various downstream tasks such as semantic similarity, information retrieval, and clustering over different modalities. However, existing multimodal embeddings like VLM2Vec, E5-V, GME are predominantly focused on natural images, with limited support for other visual forms such as videos and visual documents. This restricts their applicability in real-world scenarios, including AI agents, multi-modal search and recommendation, and retrieval-augmented generation (RAG). To close this gap, we propose VLM2Vec-V2, a unified framework for learning embeddings across diverse visual forms. First, we introduce MMEB-V2, a comprehensive benchmark that extends MMEB with five new task types: visual document retrieval, video retrieval, temporal grounding, video classification and video question answering - spanning text, image, video, and visual document inputs. Next, we train VLM2Vec-V2, a general-purpose embedding model that supports text, image, video, and visual document inputs. Extensive experiments show that VLM2Vec-V2 achieves strong performance not only on the newly introduced video and document retrieval tasks, but also improves over prior baselines on the original image benchmarks. Through extensive evaluation, our study offers insights into the generalizability of various multimodal embedding models and highlights effective strategies for unified embedding learning, laying the groundwork for more scalable and adaptable representation learning in both research and real-world settings.