VLM2Vec: Training van Visie-Taal Modellen voor Massieve Multimodale Inbeddingstaken

VLM2Vec: Training Vision-Language Models for Massive Multimodal Embedding Tasks

October 7, 2024

Auteurs: Ziyan Jiang, Rui Meng, Xinyi Yang, Semih Yavuz, Yingbo Zhou, Wenhu Chen

cs.AI

Samenvatting

Embedding modellen zijn cruciaal geweest bij het mogelijk maken van verschillende downstream taken zoals semantische gelijkenis, informatie ophalen en clustering. Onlangs is er een golf van interesse geweest in het ontwikkelen van universele tekst-embedding modellen die kunnen generaliseren over taken (bijv. MTEB). Echter, de vooruitgang in het leren van universele multimodale embedding modellen is relatief traag geweest ondanks hun belang. In dit werk streven we ernaar om het potentieel te verkennen voor het bouwen van universele embeddings die in staat zijn om een breed scala aan downstream taken aan te pakken. Onze bijdragen zijn tweeledig: (1) MMEB (Massive Multimodal Embedding Benchmark), die 4 meta-taken omvat (d.w.z. classificatie, visuele vraagbeantwoording, multimodale ophaling en visuele positionering) en 36 datasets, waaronder 20 trainings- en 16 evaluatiedatasets, en (2) VLM2Vec (Vision-Language Model -> Vector), een contrastief trainingskader dat elk state-of-the-art visueel-taalmodel omzet in een embedding model via training op MMEB. In tegenstelling tot eerdere modellen zoals CLIP en BLIP, kan VLM2Vec elke combinatie van afbeeldingen en tekst verwerken om een ​​vaste-dimensionale vector te genereren op basis van taakinstructies. We bouwen een reeks VLM2Vec modellen op Phi-3.5-V en evalueren ze op de evaluatieset van MMEB. Onze resultaten tonen aan dat het model een absolute gemiddelde verbetering van 10% tot 20% behaalt ten opzichte van bestaande multimodale embedding modellen op zowel in-distributie als out-of-distributie datasets in MMEB.

English

Embedding models have been crucial in enabling various downstream tasks such as semantic similarity, information retrieval, and clustering. Recently, there has been a surge of interest in developing universal text embedding models that can generalize across tasks (e.g., MTEB). However, progress in learning universal multimodal embedding models has been relatively slow despite their importance. In this work, we aim to explore the potential for building universal embeddings capable of handling a wide range of downstream tasks. Our contributions are twofold: (1) MMEB (Massive Multimodal Embedding Benchmark), which covers 4 meta-tasks (i.e. classification, visual question answering, multimodal retrieval, and visual grounding) and 36 datasets, including 20 training and 16 evaluation datasets, and (2) VLM2Vec (Vision-Language Model -> Vector), a contrastive training framework that converts any state-of-the-art vision-language model into an embedding model via training on MMEB. Unlike previous models such as CLIP and BLIP, VLM2Vec can process any combination of images and text to generate a fixed-dimensional vector based on task instructions. We build a series of VLM2Vec models on Phi-3.5-V and evaluate them on MMEB's evaluation split. Our results show that \model achieves an absolute average improvement of 10% to 20% over existing multimodal embedding models on both in-distribution and out-of-distribution datasets in MMEB.