VLM2Vec: Обучение моделей видео-языкового взаимодействия для масштабных мультимодальных задач встраивания.

VLM2Vec: Training Vision-Language Models for Massive Multimodal Embedding Tasks

October 7, 2024

Авторы: Ziyan Jiang, Rui Meng, Xinyi Yang, Semih Yavuz, Yingbo Zhou, Wenhu Chen

cs.AI

Аннотация

Модели встраивания имеют решающее значение для обеспечения различных последующих задач, таких как семантическая схожесть, информационный поиск и кластеризация. Недавно наблюдается всплеск интереса к разработке универсальных текстовых моделей встраивания, способных обобщаться на различные задачи (например, MTEB). Однако прогресс в обучении универсальных мультимодальных моделей встраивания оказался относительно медленным, несмотря на их важность. В данной работе мы стремимся исследовать потенциал создания универсальных встраивающих моделей, способных обрабатывать широкий спектр последующих задач. Наши вклады двойные: (1) MMEB (Massive Multimodal Embedding Benchmark), охватывающий 4 мета-задачи (классификация, визуальный вопросно-ответ, мультимодальный поиск и визуальное позиционирование) и 36 наборов данных, включая 20 наборов данных для обучения и 16 для оценки, и (2) VLM2Vec (Vision-Language Model -> Vector), контрастная обучающая структура, преобразующая любую передовую модель визуального и языкового моделирования в модель встраивания путем обучения на MMEB. В отличие от предыдущих моделей, таких как CLIP и BLIP, VLM2Vec может обрабатывать любую комбинацию изображений и текста для генерации вектора фиксированной размерности на основе инструкций задачи. Мы создаем серию моделей VLM2Vec на Phi-3.5-V и оцениваем их на оценочном разделении MMEB. Наши результаты показывают, что модель достигает абсолютного среднего улучшения от 10% до 20% по сравнению с существующими моделями мультимодального встраивания как на внутригрупповых, так и на внегрупповых наборах данных в MMEB.

English

Embedding models have been crucial in enabling various downstream tasks such as semantic similarity, information retrieval, and clustering. Recently, there has been a surge of interest in developing universal text embedding models that can generalize across tasks (e.g., MTEB). However, progress in learning universal multimodal embedding models has been relatively slow despite their importance. In this work, we aim to explore the potential for building universal embeddings capable of handling a wide range of downstream tasks. Our contributions are twofold: (1) MMEB (Massive Multimodal Embedding Benchmark), which covers 4 meta-tasks (i.e. classification, visual question answering, multimodal retrieval, and visual grounding) and 36 datasets, including 20 training and 16 evaluation datasets, and (2) VLM2Vec (Vision-Language Model -> Vector), a contrastive training framework that converts any state-of-the-art vision-language model into an embedding model via training on MMEB. Unlike previous models such as CLIP and BLIP, VLM2Vec can process any combination of images and text to generate a fixed-dimensional vector based on task instructions. We build a series of VLM2Vec models on Phi-3.5-V and evaluate them on MMEB's evaluation split. Our results show that \model achieves an absolute average improvement of 10% to 20% over existing multimodal embedding models on both in-distribution and out-of-distribution datasets in MMEB.