E5-V: Incrustaciones Universales con Modelos de Lenguaje Multimodal de Gran Escala

E5-V: Universal Embeddings with Multimodal Large Language Models

July 17, 2024

Autores: Ting Jiang, Minghui Song, Zihan Zhang, Haizhen Huang, Weiwei Deng, Feng Sun, Qi Zhang, Deqing Wang, Fuzhen Zhuang

cs.AI

Resumen

Los modelos de lenguaje grandes multimodales (MLLMs) han mostrado avances prometedores en la comprensión visual y del lenguaje en general. Sin embargo, la representación de información multimodal utilizando MLLMs sigue siendo en gran medida inexplorada. En este trabajo, presentamos un nuevo marco, E5-V, diseñado para adaptar MLLMs con el fin de lograr incrustaciones multimodales universales. Nuestros hallazgos resaltan el potencial significativo de los MLLMs en la representación de entradas multimodales en comparación con enfoques anteriores. Al aprovechar los MLLMs con indicaciones, E5-V supera efectivamente la brecha de modalidad entre diferentes tipos de entradas, demostrando un rendimiento sólido en incrustaciones multimodales incluso sin ajuste fino. Proponemos un enfoque de entrenamiento de una sola modalidad para E5-V, donde el modelo se entrena exclusivamente en pares de texto. Este método muestra mejoras significativas sobre el entrenamiento multimodal tradicional en pares de imagen-texto, al tiempo que reduce los costos de entrenamiento en aproximadamente un 95%. Además, este enfoque elimina la necesidad de costosa recopilación de datos de entrenamiento multimodal. Experimentos extensos en cuatro tipos de tareas demuestran la efectividad de E5-V. Como modelo multimodal universal, E5-V no solo logra, sino que a menudo supera el rendimiento de vanguardia en cada tarea, a pesar de estar entrenado en una sola modalidad.

English

Multimodal large language models (MLLMs) have shown promising advancements in general visual and language understanding. However, the representation of multimodal information using MLLMs remains largely unexplored. In this work, we introduce a new framework, E5-V, designed to adapt MLLMs for achieving universal multimodal embeddings. Our findings highlight the significant potential of MLLMs in representing multimodal inputs compared to previous approaches. By leveraging MLLMs with prompts, E5-V effectively bridges the modality gap between different types of inputs, demonstrating strong performance in multimodal embeddings even without fine-tuning. We propose a single modality training approach for E5-V, where the model is trained exclusively on text pairs. This method demonstrates significant improvements over traditional multimodal training on image-text pairs, while reducing training costs by approximately 95%. Additionally, this approach eliminates the need for costly multimodal training data collection. Extensive experiments across four types of tasks demonstrate the effectiveness of E5-V. As a universal multimodal model, E5-V not only achieves but often surpasses state-of-the-art performance in each task, despite being trained on a single modality.