E5-V: Universele Embeddings met Multimodale Grote Taalmodellen

Samenvatting

Multimodale grote taalmodellen (MLLMs) hebben veelbelovende vooruitgang geboekt in algemeen visueel en taalbegrip. De representatie van multimodale informatie met behulp van MLLMs blijft echter grotendeels onontgonnen. In dit werk introduceren we een nieuw framework, E5-V, ontworpen om MLLMs aan te passen voor het bereiken van universele multimodale embeddings. Onze bevindingen benadrukken het aanzienlijke potentieel van MLLMs in het representeren van multimodale inputs in vergelijking met eerdere benaderingen. Door MLLMs te benutten met prompts, overbrugt E5-V effectief de modale kloof tussen verschillende soorten inputs, waarbij het sterke prestaties laat zien in multimodale embeddings, zelfs zonder fine-tuning. We stellen een enkele modaliteit trainingsbenadering voor E5-V voor, waarbij het model uitsluitend wordt getraind op tekstparen. Deze methode toont aanzienlijke verbeteringen ten opzichte van traditionele multimodale training op beeld-tekstparen, terwijl de trainingskosten met ongeveer 95% worden verlaagd. Bovendien elimineert deze aanpak de noodzaak van kostbare verzameling van multimodale trainingsdata. Uitgebreide experimenten over vier soorten taken demonstreren de effectiviteit van E5-V. Als een universeel multimodaal model bereikt E5-V niet alleen, maar overtreft vaak de state-of-the-art prestaties in elke taak, ondanks dat het op een enkele modaliteit is getraind.

English

Multimodal large language models (MLLMs) have shown promising advancements in general visual and language understanding. However, the representation of multimodal information using MLLMs remains largely unexplored. In this work, we introduce a new framework, E5-V, designed to adapt MLLMs for achieving universal multimodal embeddings. Our findings highlight the significant potential of MLLMs in representing multimodal inputs compared to previous approaches. By leveraging MLLMs with prompts, E5-V effectively bridges the modality gap between different types of inputs, demonstrating strong performance in multimodal embeddings even without fine-tuning. We propose a single modality training approach for E5-V, where the model is trained exclusively on text pairs. This method demonstrates significant improvements over traditional multimodal training on image-text pairs, while reducing training costs by approximately 95%. Additionally, this approach eliminates the need for costly multimodal training data collection. Extensive experiments across four types of tasks demonstrate the effectiveness of E5-V. As a universal multimodal model, E5-V not only achieves but often surpasses state-of-the-art performance in each task, despite being trained on a single modality.

E5-V: Universele Embeddings met Multimodale Grote Taalmodellen

E5-V: Universal Embeddings with Multimodal Large Language Models

Samenvatting

Support