E5-V: Incorporação Universal com Modelos de Linguagem Multimodais de Grande Escala

Resumo

Os modelos de linguagem multimodais de grande escala (MLLMs) têm demonstrado avanços promissores na compreensão visual e linguística geral. No entanto, a representação de informações multimodais usando MLLMs ainda é amplamente inexplorada. Neste trabalho, introduzimos um novo framework, E5-V, projetado para adaptar MLLMs para alcançar incorporações multimodais universais. Nossas descobertas destacam o potencial significativo dos MLLMs na representação de entradas multimodais em comparação com abordagens anteriores. Ao alavancar MLLMs com prompts, o E5-V preenche efetivamente a lacuna de modalidade entre diferentes tipos de entradas, demonstrando um desempenho sólido em incorporações multimodais mesmo sem ajuste fino. Propomos uma abordagem de treinamento de única modalidade para o E5-V, onde o modelo é treinado exclusivamente em pares de texto. Este método demonstra melhorias significativas em relação ao treinamento multimodal tradicional em pares de imagem-texto, enquanto reduz os custos de treinamento em aproximadamente 95%. Além disso, essa abordagem elimina a necessidade de coleta de dados de treinamento multimodal dispendiosa. Experimentos extensivos em quatro tipos de tarefas demonstram a eficácia do E5-V. Como um modelo multimodal universal, o E5-V não apenas alcança, mas frequentemente supera o desempenho de ponta em cada tarefa, apesar de ser treinado em uma única modalidade.

English

Multimodal large language models (MLLMs) have shown promising advancements in general visual and language understanding. However, the representation of multimodal information using MLLMs remains largely unexplored. In this work, we introduce a new framework, E5-V, designed to adapt MLLMs for achieving universal multimodal embeddings. Our findings highlight the significant potential of MLLMs in representing multimodal inputs compared to previous approaches. By leveraging MLLMs with prompts, E5-V effectively bridges the modality gap between different types of inputs, demonstrating strong performance in multimodal embeddings even without fine-tuning. We propose a single modality training approach for E5-V, where the model is trained exclusively on text pairs. This method demonstrates significant improvements over traditional multimodal training on image-text pairs, while reducing training costs by approximately 95%. Additionally, this approach eliminates the need for costly multimodal training data collection. Extensive experiments across four types of tasks demonstrate the effectiveness of E5-V. As a universal multimodal model, E5-V not only achieves but often surpasses state-of-the-art performance in each task, despite being trained on a single modality.

E5-V: Incorporação Universal com Modelos de Linguagem Multimodais de Grande Escala

E5-V: Universal Embeddings with Multimodal Large Language Models

Resumo

Support