LLaVE: Модели с объединенными языковыми и визуальными представлениями на основе контрастивного обучения с учетом сложности

LLaVE: Large Language and Vision Embedding Models with Hardness-Weighted Contrastive Learning

March 4, 2025

Авторы: Zhibin Lan, Liqiang Niu, Fandong Meng, Jie Zhou, Jinsong Su

cs.AI

Аннотация

Универсальные мультимодальные модели эмбеддингов играют ключевую роль в таких задачах, как перекрестный поиск изображений и текстов, мультимодальный RAG и мультимодальная кластеризация. Однако наши эмпирические результаты показывают, что существующие модели эмбеддингов на основе LMM, обученные с использованием стандартной функции потерь InfoNCE, демонстрируют высокую степень перекрытия в распределении сходства между положительными и отрицательными парами, что затрудняет эффективное различение сложных отрицательных пар. Для решения этой проблемы мы предлагаем простую, но эффективную структуру, которая динамически улучшает обучение представлений модели эмбеддингов для отрицательных пар на основе их различительной сложности. В рамках этой структуры мы обучаем серию моделей под названием LLaVE и оцениваем их на бенчмарке MMEB, который охватывает 4 метазадачи и 36 наборов данных. Экспериментальные результаты показывают, что LLaVE устанавливает более сильные базовые показатели, достигая наилучших (SOTA) результатов, одновременно демонстрируя высокую масштабируемость и эффективность. В частности, LLaVE-2B превосходит предыдущие SOTA модели с 7B параметров, а LLaVE-7B достигает дальнейшего улучшения производительности на 6,2 пункта. Хотя LLaVE обучена на данных изображений и текстов, она способна обобщать задачи поиска текст-видео в режиме zero-shot и демонстрирует высокую производительность, что подчеркивает её значительный потенциал для переноса на другие задачи эмбеддингов.

English

Universal multimodal embedding models play a critical role in tasks such as interleaved image-text retrieval, multimodal RAG, and multimodal clustering. However, our empirical results indicate that existing LMM-based embedding models trained with the standard InfoNCE loss exhibit a high degree of overlap in similarity distribution between positive and negative pairs, making it challenging to distinguish hard negative pairs effectively. To deal with this issue, we propose a simple yet effective framework that dynamically improves the embedding model's representation learning for negative pairs based on their discriminative difficulty. Within this framework, we train a series of models, named LLaVE, and evaluate them on the MMEB benchmark, which covers 4 meta-tasks and 36 datasets. Experimental results show that LLaVE establishes stronger baselines that achieve state-of-the-art (SOTA) performance while demonstrating strong scalability and efficiency. Specifically, LLaVE-2B surpasses the previous SOTA 7B models, while LLaVE-7B achieves a further performance improvement of 6.2 points. Although LLaVE is trained on image-text data, it can generalize to text-video retrieval tasks in a zero-shot manner and achieve strong performance, demonstrating its remarkable potential for transfer to other embedding tasks.