VLM2Vec-V2: 비디오, 이미지 및 시각적 문서를 위한 멀티모달 임베딩 기술의 발전

초록

멀티모달 임베딩 모델은 다양한 모달리티에 걸친 의미적 유사성, 정보 검색, 클러스터링과 같은 다양한 다운스트림 작업을 가능하게 하는 데 중요한 역할을 해왔다. 그러나 VLM2Vec, E5-V, GME와 같은 기존의 멀티모달 임베딩은 주로 자연 이미지에 초점을 맞추고 있으며, 비디오 및 시각 문서와 같은 다른 시각적 형태에 대한 지원이 제한적이다. 이는 AI 에이전트, 멀티모달 검색 및 추천, 검색 강화 생성(RAG)과 같은 실제 시나리오에서의 적용 가능성을 제한한다. 이러한 격차를 해소하기 위해, 우리는 다양한 시각적 형태에 걸친 임베딩 학습을 위한 통합 프레임워크인 VLM2Vec-V2를 제안한다. 먼저, MMEB를 확장한 포괄적인 벤치마크인 MMEB-V2를 소개한다. MMEB-V2는 시각 문서 검색, 비디오 검색, 시간적 근거, 비디오 분류 및 비디오 질문 응답이라는 다섯 가지 새로운 작업 유형을 추가하여 텍스트, 이미지, 비디오, 시각 문서 입력을 아우른다. 다음으로, 텍스트, 이미지, 비디오, 시각 문서 입력을 지원하는 범용 임베딩 모델인 VLM2Vec-V2를 학습시킨다. 광범위한 실험을 통해 VLM2Vec-V2는 새로 도입된 비디오 및 문서 검색 작업에서 강력한 성능을 보일 뿐만 아니라, 기존 이미지 벤치마크에서도 이전 기준선을 개선함을 보여준다. 광범위한 평가를 통해, 우리의 연구는 다양한 멀티모달 임베딩 모델의 일반화 가능성에 대한 통찰을 제공하고, 통합 임베딩 학습을 위한 효과적인 전략을 강조함으로써 연구 및 실제 환경에서 더 확장 가능하고 적응 가능한 표현 학습의 기반을 마련한다.

English

Multimodal embedding models have been crucial in enabling various downstream tasks such as semantic similarity, information retrieval, and clustering over different modalities. However, existing multimodal embeddings like VLM2Vec, E5-V, GME are predominantly focused on natural images, with limited support for other visual forms such as videos and visual documents. This restricts their applicability in real-world scenarios, including AI agents, multi-modal search and recommendation, and retrieval-augmented generation (RAG). To close this gap, we propose VLM2Vec-V2, a unified framework for learning embeddings across diverse visual forms. First, we introduce MMEB-V2, a comprehensive benchmark that extends MMEB with five new task types: visual document retrieval, video retrieval, temporal grounding, video classification and video question answering - spanning text, image, video, and visual document inputs. Next, we train VLM2Vec-V2, a general-purpose embedding model that supports text, image, video, and visual document inputs. Extensive experiments show that VLM2Vec-V2 achieves strong performance not only on the newly introduced video and document retrieval tasks, but also improves over prior baselines on the original image benchmarks. Through extensive evaluation, our study offers insights into the generalizability of various multimodal embedding models and highlights effective strategies for unified embedding learning, laying the groundwork for more scalable and adaptable representation learning in both research and real-world settings.

VLM2Vec-V2: 비디오, 이미지 및 시각적 문서를 위한 멀티모달 임베딩 기술의 발전

VLM2Vec-V2: Advancing Multimodal Embedding for Videos, Images, and Visual Documents

초록

Support