LLaVE : Modèles d'intégration de langage et de vision à grande échelle avec apprentissage contrastif pondéré par la difficulté

LLaVE: Large Language and Vision Embedding Models with Hardness-Weighted Contrastive Learning

March 4, 2025

Auteurs: Zhibin Lan, Liqiang Niu, Fandong Meng, Jie Zhou, Jinsong Su

cs.AI

Résumé

Les modèles d'encodage multimodaux universels jouent un rôle crucial dans des tâches telles que la recherche intercalée image-texte, le RAG multimodal et le clustering multimodal. Cependant, nos résultats empiriques indiquent que les modèles d'encodage basés sur LMM existants, entraînés avec la fonction de perte InfoNCE standard, présentent un degré élevé de chevauchement dans la distribution de similarité entre les paires positives et négatives, rendant difficile la distinction efficace des paires négatives complexes. Pour résoudre ce problème, nous proposons un cadre simple mais efficace qui améliore dynamiquement l'apprentissage de représentation du modèle d'encodage pour les paires négatives en fonction de leur difficulté discriminative. Dans ce cadre, nous entraînons une série de modèles, nommés LLaVE, et les évaluons sur le benchmark MMEB, qui couvre 4 méta-tâches et 36 jeux de données. Les résultats expérimentaux montrent que LLaVE établit des bases de référence plus solides, atteignant des performances de pointe (SOTA) tout en démontrant une forte scalabilité et efficacité. Plus précisément, LLaVE-2B surpasse les précédents modèles SOTA de 7B, tandis que LLaVE-7B réalise une amélioration supplémentaire de 6,2 points. Bien que LLaVE soit entraîné sur des données image-texte, il peut généraliser aux tâches de recherche texte-vidéo de manière zero-shot et obtenir de solides performances, démontrant ainsi son potentiel remarquable pour le transfert vers d'autres tâches d'encodage.

English

Universal multimodal embedding models play a critical role in tasks such as interleaved image-text retrieval, multimodal RAG, and multimodal clustering. However, our empirical results indicate that existing LMM-based embedding models trained with the standard InfoNCE loss exhibit a high degree of overlap in similarity distribution between positive and negative pairs, making it challenging to distinguish hard negative pairs effectively. To deal with this issue, we propose a simple yet effective framework that dynamically improves the embedding model's representation learning for negative pairs based on their discriminative difficulty. Within this framework, we train a series of models, named LLaVE, and evaluate them on the MMEB benchmark, which covers 4 meta-tasks and 36 datasets. Experimental results show that LLaVE establishes stronger baselines that achieve state-of-the-art (SOTA) performance while demonstrating strong scalability and efficiency. Specifically, LLaVE-2B surpasses the previous SOTA 7B models, while LLaVE-7B achieves a further performance improvement of 6.2 points. Although LLaVE is trained on image-text data, it can generalize to text-video retrieval tasks in a zero-shot manner and achieve strong performance, demonstrating its remarkable potential for transfer to other embedding tasks.