VLM2Vec-V2: Progressi nell'Embedding Multimodale per Video, Immagini e Documenti Visivi

Abstract

I modelli di embedding multimodali sono stati cruciali per abilitare varie attività downstream come la similarità semantica, il recupero delle informazioni e il clustering su diverse modalità. Tuttavia, gli embedding multimodali esistenti come VLM2Vec, E5-V e GME si concentrano principalmente su immagini naturali, con un supporto limitato per altre forme visive come video e documenti visivi. Ciò ne limita l'applicabilità in scenari reali, inclusi agenti AI, ricerca e raccomandazione multimodale, e generazione aumentata dal recupero (RAG). Per colmare questa lacuna, proponiamo VLM2Vec-V2, un framework unificato per l'apprendimento di embedding su diverse forme visive. In primo luogo, introduciamo MMEB-V2, un benchmark completo che estende MMEB con cinque nuovi tipi di attività: recupero di documenti visivi, recupero di video, grounding temporale, classificazione di video e risposta a domande su video, che coprono input di testo, immagini, video e documenti visivi. Successivamente, addestriamo VLM2Vec-V2, un modello di embedding generico che supporta input di testo, immagini, video e documenti visivi. Esperimenti estensivi dimostrano che VLM2Vec-V2 ottiene prestazioni solide non solo sulle nuove attività di recupero di video e documenti, ma migliora anche rispetto ai precedenti benchmark sulle immagini originali. Attraverso una valutazione approfondita, il nostro studio offre approfondimenti sulla generalizzabilità di vari modelli di embedding multimodali e mette in luce strategie efficaci per l'apprendimento unificato di embedding, gettando le basi per un apprendimento delle rappresentazioni più scalabile e adattabile sia in ambito di ricerca che in contesti reali.

English

Multimodal embedding models have been crucial in enabling various downstream tasks such as semantic similarity, information retrieval, and clustering over different modalities. However, existing multimodal embeddings like VLM2Vec, E5-V, GME are predominantly focused on natural images, with limited support for other visual forms such as videos and visual documents. This restricts their applicability in real-world scenarios, including AI agents, multi-modal search and recommendation, and retrieval-augmented generation (RAG). To close this gap, we propose VLM2Vec-V2, a unified framework for learning embeddings across diverse visual forms. First, we introduce MMEB-V2, a comprehensive benchmark that extends MMEB with five new task types: visual document retrieval, video retrieval, temporal grounding, video classification and video question answering - spanning text, image, video, and visual document inputs. Next, we train VLM2Vec-V2, a general-purpose embedding model that supports text, image, video, and visual document inputs. Extensive experiments show that VLM2Vec-V2 achieves strong performance not only on the newly introduced video and document retrieval tasks, but also improves over prior baselines on the original image benchmarks. Through extensive evaluation, our study offers insights into the generalizability of various multimodal embedding models and highlights effective strategies for unified embedding learning, laying the groundwork for more scalable and adaptable representation learning in both research and real-world settings.

VLM2Vec-V2: Progressi nell'Embedding Multimodale per Video, Immagini e Documenti Visivi

VLM2Vec-V2: Advancing Multimodal Embedding for Videos, Images, and Visual Documents

Abstract

Support