VLM2Vec-V2: Avançando na Incorporação Multimodal para Vídeos, Imagens e Documentos Visuais

VLM2Vec-V2: Advancing Multimodal Embedding for Videos, Images, and Visual Documents

July 7, 2025

Autores: Rui Meng, Ziyan Jiang, Ye Liu, Mingyi Su, Xinyi Yang, Yuepeng Fu, Can Qin, Zeyuan Chen, Ran Xu, Caiming Xiong, Yingbo Zhou, Wenhu Chen, Semih Yavuz

cs.AI

Resumo

Modelos de incorporação multimodal têm sido cruciais para habilitar diversas tarefas subsequentes, como similaridade semântica, recuperação de informação e agrupamento em diferentes modalidades. No entanto, as incorporações multimodais existentes, como VLM2Vec, E5-V e GME, estão predominantemente focadas em imagens naturais, com suporte limitado para outras formas visuais, como vídeos e documentos visuais. Isso restringe sua aplicabilidade em cenários do mundo real, incluindo agentes de IA, busca e recomendação multimodal e geração aumentada por recuperação (RAG). Para fechar essa lacuna, propomos o VLM2Vec-V2, uma estrutura unificada para aprender incorporações em diversas formas visuais. Primeiro, introduzimos o MMEB-V2, um benchmark abrangente que estende o MMEB com cinco novos tipos de tarefas: recuperação de documentos visuais, recuperação de vídeos, localização temporal, classificação de vídeos e resposta a perguntas em vídeos - abrangendo entradas de texto, imagem, vídeo e documentos visuais. Em seguida, treinamos o VLM2Vec-V2, um modelo de incorporação de propósito geral que suporta entradas de texto, imagem, vídeo e documentos visuais. Experimentos extensivos mostram que o VLM2Vec-V2 alcança um desempenho forte não apenas nas novas tarefas de recuperação de vídeos e documentos, mas também melhora em relação às linhas de base anteriores nos benchmarks originais de imagens. Por meio de uma avaliação extensiva, nosso estudo oferece insights sobre a generalizabilidade de vários modelos de incorporação multimodal e destaca estratégias eficazes para o aprendizado unificado de incorporações, estabelecendo as bases para um aprendizado de representação mais escalável e adaptável tanto em pesquisas quanto em cenários do mundo real.

English

Multimodal embedding models have been crucial in enabling various downstream tasks such as semantic similarity, information retrieval, and clustering over different modalities. However, existing multimodal embeddings like VLM2Vec, E5-V, GME are predominantly focused on natural images, with limited support for other visual forms such as videos and visual documents. This restricts their applicability in real-world scenarios, including AI agents, multi-modal search and recommendation, and retrieval-augmented generation (RAG). To close this gap, we propose VLM2Vec-V2, a unified framework for learning embeddings across diverse visual forms. First, we introduce MMEB-V2, a comprehensive benchmark that extends MMEB with five new task types: visual document retrieval, video retrieval, temporal grounding, video classification and video question answering - spanning text, image, video, and visual document inputs. Next, we train VLM2Vec-V2, a general-purpose embedding model that supports text, image, video, and visual document inputs. Extensive experiments show that VLM2Vec-V2 achieves strong performance not only on the newly introduced video and document retrieval tasks, but also improves over prior baselines on the original image benchmarks. Through extensive evaluation, our study offers insights into the generalizability of various multimodal embedding models and highlights effective strategies for unified embedding learning, laying the groundwork for more scalable and adaptable representation learning in both research and real-world settings.