E5-V: Универсальные вложения с мультимодальными большими языковыми моделями

E5-V: Universal Embeddings with Multimodal Large Language Models

July 17, 2024

Авторы: Ting Jiang, Minghui Song, Zihan Zhang, Haizhen Huang, Weiwei Deng, Feng Sun, Qi Zhang, Deqing Wang, Fuzhen Zhuang

cs.AI

Аннотация

Многомодельные модели языка большого масштаба (MLLM) показали многообещающие достижения в области общего понимания визуальной и языковой информации. Однако представление многомодальной информации с использованием MLLM остается в значительной степени не исследованным. В данной работе мы представляем новую структуру, E5-V, разработанную для адаптации MLLM с целью достижения универсальных многомодальных вложений. Наши результаты подчеркивают значительный потенциал MLLM в представлении многомодальных входных данных по сравнению с предыдущими подходами. Используя MLLM с подсказками, E5-V эффективно преодолевает разрыв между модальностями различных типов входных данных, демонстрируя высокую производительность в многомодальных вложениях даже без донастройки. Мы предлагаем подход к обучению с использованием одной модальности для E5-V, где модель обучается исключительно на парах текстов. Этот метод демонстрирует значительное улучшение по сравнению с традиционным многомодальным обучением на парах изображение-текст, сокращая затраты на обучение примерно на 95%. Кроме того, этот подход устраняет необходимость в дорогостоящем сборе данных для многомодального обучения. Обширные эксперименты по четырем типам задач демонстрируют эффективность E5-V. Как универсальная многомодальная модель, E5-V не только достигает, но часто превосходит современные достижения в каждой задаче, несмотря на то, что обучена на одной модальности.

English

Multimodal large language models (MLLMs) have shown promising advancements in general visual and language understanding. However, the representation of multimodal information using MLLMs remains largely unexplored. In this work, we introduce a new framework, E5-V, designed to adapt MLLMs for achieving universal multimodal embeddings. Our findings highlight the significant potential of MLLMs in representing multimodal inputs compared to previous approaches. By leveraging MLLMs with prompts, E5-V effectively bridges the modality gap between different types of inputs, demonstrating strong performance in multimodal embeddings even without fine-tuning. We propose a single modality training approach for E5-V, where the model is trained exclusively on text pairs. This method demonstrates significant improvements over traditional multimodal training on image-text pairs, while reducing training costs by approximately 95%. Additionally, this approach eliminates the need for costly multimodal training data collection. Extensive experiments across four types of tasks demonstrate the effectiveness of E5-V. As a universal multimodal model, E5-V not only achieves but often surpasses state-of-the-art performance in each task, despite being trained on a single modality.