LLaVE: Modelos de Incrustación de Lenguaje y Visión a Gran Escala con Aprendizaje Contrastivo Ponderado por Dificultad

LLaVE: Large Language and Vision Embedding Models with Hardness-Weighted Contrastive Learning

March 4, 2025

Autores: Zhibin Lan, Liqiang Niu, Fandong Meng, Jie Zhou, Jinsong Su

cs.AI

Resumen

Los modelos universales de incrustación multimodal desempeñan un papel crucial en tareas como la recuperación intercalada de imágenes y texto, RAG multimodal y agrupación multimodal. Sin embargo, nuestros resultados empíricos indican que los modelos de incrustación basados en LMM existentes, entrenados con la función de pérdida InfoNCE estándar, muestran un alto grado de superposición en la distribución de similitud entre pares positivos y negativos, lo que dificulta distinguir efectivamente los pares negativos difíciles. Para abordar este problema, proponemos un marco simple pero efectivo que mejora dinámicamente el aprendizaje de representaciones del modelo de incrustación para pares negativos según su dificultad discriminativa. Dentro de este marco, entrenamos una serie de modelos, denominados LLaVE, y los evaluamos en el benchmark MMEB, que abarca 4 meta-tareas y 36 conjuntos de datos. Los resultados experimentales muestran que LLaVE establece líneas base más sólidas que alcanzan un rendimiento de vanguardia (SOTA), al mismo tiempo que demuestra una fuerte escalabilidad y eficiencia. Específicamente, LLaVE-2B supera a los modelos SOTA anteriores de 7B, mientras que LLaVE-7B logra una mejora adicional de 6.2 puntos. Aunque LLaVE se entrena con datos de imágenes y texto, puede generalizar a tareas de recuperación de texto-video de manera zero-shot y lograr un rendimiento sólido, demostrando su notable potencial para transferirse a otras tareas de incrustación.

English

Universal multimodal embedding models play a critical role in tasks such as interleaved image-text retrieval, multimodal RAG, and multimodal clustering. However, our empirical results indicate that existing LMM-based embedding models trained with the standard InfoNCE loss exhibit a high degree of overlap in similarity distribution between positive and negative pairs, making it challenging to distinguish hard negative pairs effectively. To deal with this issue, we propose a simple yet effective framework that dynamically improves the embedding model's representation learning for negative pairs based on their discriminative difficulty. Within this framework, we train a series of models, named LLaVE, and evaluate them on the MMEB benchmark, which covers 4 meta-tasks and 36 datasets. Experimental results show that LLaVE establishes stronger baselines that achieve state-of-the-art (SOTA) performance while demonstrating strong scalability and efficiency. Specifically, LLaVE-2B surpasses the previous SOTA 7B models, while LLaVE-7B achieves a further performance improvement of 6.2 points. Although LLaVE is trained on image-text data, it can generalize to text-video retrieval tasks in a zero-shot manner and achieve strong performance, demonstrating its remarkable potential for transfer to other embedding tasks.