VLM2Vec-V2: Fortschritte bei multimodalen Einbettungen für Videos, Bilder und visuelle Dokumente

VLM2Vec-V2: Advancing Multimodal Embedding for Videos, Images, and Visual Documents

July 7, 2025

Autoren: Rui Meng, Ziyan Jiang, Ye Liu, Mingyi Su, Xinyi Yang, Yuepeng Fu, Can Qin, Zeyuan Chen, Ran Xu, Caiming Xiong, Yingbo Zhou, Wenhu Chen, Semih Yavuz

cs.AI

Zusammenfassung

Multimodale Embedding-Modelle waren entscheidend für die Ermöglichung verschiedener nachgelagerter Aufgaben wie semantische Ähnlichkeit, Informationsabruf und Clustering über verschiedene Modalitäten hinweg. Bestehende multimodale Embeddings wie VLM2Vec, E5-V und GME konzentrieren sich jedoch überwiegend auf natürliche Bilder, mit begrenzter Unterstützung für andere visuelle Formen wie Videos und visuelle Dokumente. Dies schränkt ihre Anwendbarkeit in realen Szenarien ein, einschließlich KI-Agenten, multimodaler Suche und Empfehlungssysteme sowie Retrieval-Augmented Generation (RAG). Um diese Lücke zu schließen, schlagen wir VLM2Vec-V2 vor, ein einheitliches Framework zum Lernen von Embeddings über diverse visuelle Formen hinweg. Zunächst führen wir MMEB-V2 ein, einen umfassenden Benchmark, der MMEB um fünf neue Aufgabentypen erweitert: visuelle Dokumentenrecherche, Videorecherche, temporale Verankerung, Videoklassifikation und Video-Fragebeantwortung – mit Eingaben aus Text, Bildern, Videos und visuellen Dokumenten. Anschließend trainieren wir VLM2Vec-V2, ein allgemeines Embedding-Modell, das Text-, Bild-, Video- und visuelle Dokumenteneingaben unterstützt. Umfangreiche Experimente zeigen, dass VLM2Vec-V2 nicht nur bei den neu eingeführten Video- und Dokumentenrechercheaufgaben starke Leistungen erzielt, sondern auch die bisherigen Baselines auf den ursprünglichen Bild-Benchmarks übertrifft. Durch umfassende Evaluation bietet unsere Studie Einblicke in die Generalisierbarkeit verschiedener multimodaler Embedding-Modelle und hebt effektive Strategien für einheitliches Embedding-Lernen hervor, wodurch die Grundlage für skalierbareres und anpassungsfähigeres Repräsentationslernen in Forschung und realen Anwendungen gelegt wird.

English

Multimodal embedding models have been crucial in enabling various downstream tasks such as semantic similarity, information retrieval, and clustering over different modalities. However, existing multimodal embeddings like VLM2Vec, E5-V, GME are predominantly focused on natural images, with limited support for other visual forms such as videos and visual documents. This restricts their applicability in real-world scenarios, including AI agents, multi-modal search and recommendation, and retrieval-augmented generation (RAG). To close this gap, we propose VLM2Vec-V2, a unified framework for learning embeddings across diverse visual forms. First, we introduce MMEB-V2, a comprehensive benchmark that extends MMEB with five new task types: visual document retrieval, video retrieval, temporal grounding, video classification and video question answering - spanning text, image, video, and visual document inputs. Next, we train VLM2Vec-V2, a general-purpose embedding model that supports text, image, video, and visual document inputs. Extensive experiments show that VLM2Vec-V2 achieves strong performance not only on the newly introduced video and document retrieval tasks, but also improves over prior baselines on the original image benchmarks. Through extensive evaluation, our study offers insights into the generalizability of various multimodal embedding models and highlights effective strategies for unified embedding learning, laying the groundwork for more scalable and adaptable representation learning in both research and real-world settings.