VLM2Vec: Treinando Modelos Visão-Linguagem para Tarefas de Incorporação Multimodal em Massa

VLM2Vec: Training Vision-Language Models for Massive Multimodal Embedding Tasks

October 7, 2024

Autores: Ziyan Jiang, Rui Meng, Xinyi Yang, Semih Yavuz, Yingbo Zhou, Wenhu Chen

cs.AI

Resumo

Os modelos de incorporação têm sido cruciais para possibilitar várias tarefas subsequentes, como similaridade semântica, recuperação de informação e agrupamento. Recentemente, houve um aumento de interesse no desenvolvimento de modelos de incorporação de texto universais que possam generalizar entre tarefas (por exemplo, MTEB). No entanto, o progresso na aprendizagem de modelos de incorporação multimodais universais tem sido relativamente lento, apesar de sua importância. Neste trabalho, nosso objetivo é explorar o potencial de construir incorporações universais capazes de lidar com uma ampla gama de tarefas subsequentes. Nossas contribuições são duplas: (1) MMEB (Massive Multimodal Embedding Benchmark), que abrange 4 meta-tarefas (ou seja, classificação, resposta a perguntas visuais, recuperação multimodal e ancoragem visual) e 36 conjuntos de dados, incluindo 20 conjuntos de dados de treinamento e 16 de avaliação, e (2) VLM2Vec (Modelo de Visão-Linguagem -> Vetor), um framework de treinamento contrastivo que converte qualquer modelo de visão-linguagem de ponta em um modelo de incorporação por meio de treinamento em MMEB. Ao contrário de modelos anteriores como CLIP e BLIP, VLM2Vec pode processar qualquer combinação de imagens e texto para gerar um vetor de dimensão fixa com base nas instruções da tarefa. Construímos uma série de modelos VLM2Vec em Phi-3.5-V e os avaliamos na divisão de avaliação do MMEB. Nossos resultados mostram que o modelo alcança uma melhoria média absoluta de 10% a 20% em relação aos modelos de incorporação multimodais existentes, tanto em conjuntos de dados de distribuição quanto fora de distribuição no MMEB.

English

Embedding models have been crucial in enabling various downstream tasks such as semantic similarity, information retrieval, and clustering. Recently, there has been a surge of interest in developing universal text embedding models that can generalize across tasks (e.g., MTEB). However, progress in learning universal multimodal embedding models has been relatively slow despite their importance. In this work, we aim to explore the potential for building universal embeddings capable of handling a wide range of downstream tasks. Our contributions are twofold: (1) MMEB (Massive Multimodal Embedding Benchmark), which covers 4 meta-tasks (i.e. classification, visual question answering, multimodal retrieval, and visual grounding) and 36 datasets, including 20 training and 16 evaluation datasets, and (2) VLM2Vec (Vision-Language Model -> Vector), a contrastive training framework that converts any state-of-the-art vision-language model into an embedding model via training on MMEB. Unlike previous models such as CLIP and BLIP, VLM2Vec can process any combination of images and text to generate a fixed-dimensional vector based on task instructions. We build a series of VLM2Vec models on Phi-3.5-V and evaluate them on MMEB's evaluation split. Our results show that \model achieves an absolute average improvement of 10% to 20% over existing multimodal embedding models on both in-distribution and out-of-distribution datasets in MMEB.