VLM2Vec-V2 : Progrès dans les embeddings multimodaux pour les vidéos, images et documents visuels

Résumé

Les modèles d'embedding multimodaux ont joué un rôle crucial dans l'activation de diverses tâches en aval telles que la similarité sémantique, la recherche d'information et le clustering sur différentes modalités. Cependant, les embeddings multimodaux existants comme VLM2Vec, E5-V et GME se concentrent principalement sur les images naturelles, avec un support limité pour d'autres formes visuelles telles que les vidéos et les documents visuels. Cela restreint leur applicabilité dans des scénarios réels, incluant les agents IA, la recherche et la recommandation multimodales, ainsi que la génération augmentée par la recherche (RAG). Pour combler cette lacune, nous proposons VLM2Vec-V2, un cadre unifié pour l'apprentissage d'embeddings à travers diverses formes visuelles. Premièrement, nous introduisons MMEB-V2, un benchmark complet qui étend MMEB avec cinq nouveaux types de tâches : la recherche de documents visuels, la recherche de vidéos, le repérage temporel, la classification de vidéos et le question-réponse sur vidéos - couvrant des entrées de texte, d'image, de vidéo et de documents visuels. Ensuite, nous entraînons VLM2Vec-V2, un modèle d'embedding à usage général qui supporte les entrées de texte, d'image, de vidéo et de documents visuels. Des expériences approfondies montrent que VLM2Vec-V2 atteint des performances solides non seulement sur les nouvelles tâches de recherche de vidéos et de documents, mais améliore également les performances par rapport aux baselines précédentes sur les benchmarks d'images originaux. À travers une évaluation approfondie, notre étude offre des insights sur la généralisabilité de divers modèles d'embedding multimodaux et met en lumière des stratégies efficaces pour l'apprentissage unifié d'embeddings, posant les bases pour un apprentissage de représentations plus scalable et adaptable dans les contextes de recherche et réels.

English

Multimodal embedding models have been crucial in enabling various downstream tasks such as semantic similarity, information retrieval, and clustering over different modalities. However, existing multimodal embeddings like VLM2Vec, E5-V, GME are predominantly focused on natural images, with limited support for other visual forms such as videos and visual documents. This restricts their applicability in real-world scenarios, including AI agents, multi-modal search and recommendation, and retrieval-augmented generation (RAG). To close this gap, we propose VLM2Vec-V2, a unified framework for learning embeddings across diverse visual forms. First, we introduce MMEB-V2, a comprehensive benchmark that extends MMEB with five new task types: visual document retrieval, video retrieval, temporal grounding, video classification and video question answering - spanning text, image, video, and visual document inputs. Next, we train VLM2Vec-V2, a general-purpose embedding model that supports text, image, video, and visual document inputs. Extensive experiments show that VLM2Vec-V2 achieves strong performance not only on the newly introduced video and document retrieval tasks, but also improves over prior baselines on the original image benchmarks. Through extensive evaluation, our study offers insights into the generalizability of various multimodal embedding models and highlights effective strategies for unified embedding learning, laying the groundwork for more scalable and adaptable representation learning in both research and real-world settings.

VLM2Vec-V2 : Progrès dans les embeddings multimodaux pour les vidéos, images et documents visuels

VLM2Vec-V2: Advancing Multimodal Embedding for Videos, Images, and Visual Documents

Résumé

Support