LLaVE: Modelli di Embedding Linguistici e Visivi su Grande Scala con Apprendimento Contrastivo Ponderato per Difficoltà

LLaVE: Large Language and Vision Embedding Models with Hardness-Weighted Contrastive Learning

March 4, 2025

Autori: Zhibin Lan, Liqiang Niu, Fandong Meng, Jie Zhou, Jinsong Su

cs.AI

Abstract

I modelli universali di embedding multimodale svolgono un ruolo cruciale in compiti come il retrieval intervallato di immagini e testo, il RAG multimodale e il clustering multimodale. Tuttavia, i nostri risultati empirici indicano che i modelli di embedding basati su LMM esistenti, addestrati con la funzione di perdita InfoNCE standard, mostrano un elevato grado di sovrapposizione nella distribuzione della similarità tra coppie positive e negative, rendendo difficile distinguere efficacemente le coppie negative complesse. Per affrontare questo problema, proponiamo un framework semplice ma efficace che migliora dinamicamente l'apprendimento delle rappresentazioni del modello di embedding per le coppie negative in base alla loro difficoltà discriminativa. All'interno di questo framework, addestriamo una serie di modelli, denominati LLaVE, e li valutiamo sul benchmark MMEB, che copre 4 meta-task e 36 dataset. I risultati sperimentali mostrano che LLaVE stabilisce baseline più solide che raggiungono prestazioni all'avanguardia (SOTA), dimostrando al contempo una forte scalabilità ed efficienza. In particolare, LLaVE-2B supera i precedenti modelli SOTA da 7B, mentre LLaVE-7B ottiene un ulteriore miglioramento delle prestazioni di 6,2 punti. Sebbene LLaVE sia addestrato su dati immagine-testo, può generalizzare ai task di retrieval testo-video in modalità zero-shot e ottenere prestazioni robuste, dimostrando il suo notevole potenziale per il trasferimento ad altri task di embedding.

English

Universal multimodal embedding models play a critical role in tasks such as interleaved image-text retrieval, multimodal RAG, and multimodal clustering. However, our empirical results indicate that existing LMM-based embedding models trained with the standard InfoNCE loss exhibit a high degree of overlap in similarity distribution between positive and negative pairs, making it challenging to distinguish hard negative pairs effectively. To deal with this issue, we propose a simple yet effective framework that dynamically improves the embedding model's representation learning for negative pairs based on their discriminative difficulty. Within this framework, we train a series of models, named LLaVE, and evaluate them on the MMEB benchmark, which covers 4 meta-tasks and 36 datasets. Experimental results show that LLaVE establishes stronger baselines that achieve state-of-the-art (SOTA) performance while demonstrating strong scalability and efficiency. Specifically, LLaVE-2B surpasses the previous SOTA 7B models, while LLaVE-7B achieves a further performance improvement of 6.2 points. Although LLaVE is trained on image-text data, it can generalize to text-video retrieval tasks in a zero-shot manner and achieve strong performance, demonstrating its remarkable potential for transfer to other embedding tasks.