E5-V：マルチモーダル大規模言語モデルによるユニバーサル埋め込み

E5-V: Universal Embeddings with Multimodal Large Language Models

July 17, 2024

著者: Ting Jiang, Minghui Song, Zihan Zhang, Haizhen Huang, Weiwei Deng, Feng Sun, Qi Zhang, Deqing Wang, Fuzhen Zhuang

cs.AI

要旨

マルチモーダル大規模言語モデル（MLLMs）は、視覚と言語の一般的な理解において有望な進展を示しています。しかし、MLLMsを用いたマルチモーダル情報の表現は、まだほとんど未開拓の領域です。本研究では、ユニバーサルなマルチモーダル埋め込みを実現するためにMLLMsを適応させる新しいフレームワーク、E5-Vを提案します。我々の研究結果は、従来のアプローチと比較して、MLLMsがマルチモーダル入力を表現する上で大きな可能性を秘めていることを示しています。プロンプトを活用したMLLMsにより、E5-Vは異なるタイプの入力間のモダリティギャップを効果的に埋め、ファインチューニングなしでも強力なマルチモーダル埋め込み性能を発揮します。我々は、E5-Vに対して単一モダリティのトレーニングアプローチを提案し、モデルをテキストペアのみでトレーニングします。この方法は、画像-テキストペアを用いた従来のマルチモーダルトレーニングと比較して大幅な改善を示し、トレーニングコストを約95%削減します。さらに、このアプローチは、高価なマルチモーダルトレーニングデータの収集を不要にします。4種類のタスクにわたる広範な実験により、E5-Vの有効性が実証されました。ユニバーサルなマルチモーダルモデルとして、E5-Vは単一モダリティでトレーニングされているにもかかわらず、各タスクにおいて最先端の性能を達成し、しばしばそれを上回る結果を示しています。

English

Multimodal large language models (MLLMs) have shown promising advancements in general visual and language understanding. However, the representation of multimodal information using MLLMs remains largely unexplored. In this work, we introduce a new framework, E5-V, designed to adapt MLLMs for achieving universal multimodal embeddings. Our findings highlight the significant potential of MLLMs in representing multimodal inputs compared to previous approaches. By leveraging MLLMs with prompts, E5-V effectively bridges the modality gap between different types of inputs, demonstrating strong performance in multimodal embeddings even without fine-tuning. We propose a single modality training approach for E5-V, where the model is trained exclusively on text pairs. This method demonstrates significant improvements over traditional multimodal training on image-text pairs, while reducing training costs by approximately 95%. Additionally, this approach eliminates the need for costly multimodal training data collection. Extensive experiments across four types of tasks demonstrate the effectiveness of E5-V. As a universal multimodal model, E5-V not only achieves but often surpasses state-of-the-art performance in each task, despite being trained on a single modality.