VLM2Vec: Addestramento di Modelli Visione-Linguaggio per Compiti di Incorporamento Multimodale Massicci

VLM2Vec: Training Vision-Language Models for Massive Multimodal Embedding Tasks

October 7, 2024

Autori: Ziyan Jiang, Rui Meng, Xinyi Yang, Semih Yavuz, Yingbo Zhou, Wenhu Chen

cs.AI

Abstract

I modelli di embedding sono stati cruciali nel permettere varie attività successive come la similarità semantica, il recupero delle informazioni e il clustering. Recentemente, c'è stato un aumento di interesse nello sviluppo di modelli di embedding di testo universali che possano generalizzare tra le attività (ad esempio, MTEB). Tuttavia, i progressi nel campo dei modelli di embedding multimodali universali sono stati relativamente lenti nonostante la loro importanza. In questo lavoro, ci proponiamo di esplorare il potenziale per la creazione di embedding universali capaci di gestire una vasta gamma di attività successive. Le nostre contribuzioni sono due: (1) MMEB (Massive Multimodal Embedding Benchmark), che copre 4 meta-attività (ossia classificazione, risposta alle domande visive, recupero multimodale e ancoraggio visuale) e 36 set di dati, inclusi 20 set di dati di addestramento e 16 di valutazione, e (2) VLM2Vec (Vision-Language Model -> Vector), un framework di addestramento contrastivo che converte qualsiasi modello di visione-linguaggio all'avanguardia in un modello di embedding tramite l'addestramento su MMEB. A differenza dei modelli precedenti come CLIP e BLIP, VLM2Vec può elaborare qualsiasi combinazione di immagini e testo per generare un vettore di dimensioni fisse basato sulle istruzioni dell'attività. Costruiamo una serie di modelli VLM2Vec su Phi-3.5-V e li valutiamo sulla divisione di valutazione di MMEB. I nostri risultati mostrano che il modello raggiunge un miglioramento medio assoluto del 10% al 20% rispetto ai modelli di embedding multimodali esistenti sia nei set di dati in distribuzione che in quelli fuori distribuzione in MMEB.

English

Embedding models have been crucial in enabling various downstream tasks such as semantic similarity, information retrieval, and clustering. Recently, there has been a surge of interest in developing universal text embedding models that can generalize across tasks (e.g., MTEB). However, progress in learning universal multimodal embedding models has been relatively slow despite their importance. In this work, we aim to explore the potential for building universal embeddings capable of handling a wide range of downstream tasks. Our contributions are twofold: (1) MMEB (Massive Multimodal Embedding Benchmark), which covers 4 meta-tasks (i.e. classification, visual question answering, multimodal retrieval, and visual grounding) and 36 datasets, including 20 training and 16 evaluation datasets, and (2) VLM2Vec (Vision-Language Model -> Vector), a contrastive training framework that converts any state-of-the-art vision-language model into an embedding model via training on MMEB. Unlike previous models such as CLIP and BLIP, VLM2Vec can process any combination of images and text to generate a fixed-dimensional vector based on task instructions. We build a series of VLM2Vec models on Phi-3.5-V and evaluate them on MMEB's evaluation split. Our results show that \model achieves an absolute average improvement of 10% to 20% over existing multimodal embedding models on both in-distribution and out-of-distribution datasets in MMEB.