SEA: Supervised Embedding Alignment voor Token-Level Visueel-Textuele Integratie in MLLM's

SEA: Supervised Embedding Alignment for Token-Level Visual-Textual Integration in MLLMs

August 21, 2024

Auteurs: Yuanyang Yin, Yaqi Zhao, Yajie Zhang, Ke Lin, Jiahao Wang, Xin Tao, Pengfei Wan, Di Zhang, Baoqun Yin, Wentao Zhang

cs.AI

Samenvatting

Multimodale Large Language Models (MLLMs) hebben recentelijk opmerkelijke perceptuele en redeneervaardigheden getoond, waarbij ze typisch bestaan uit een Vision Encoder, een Adapter en een Large Language Model (LLM). De adapter fungeert als de cruciale brug tussen de visuele en taalcomponenten. Het trainen van adapters met supervisie op beeldniveau resulteert echter vaak in aanzienlijke uitlijningproblemen, wat de mogelijkheden van de LLMs ondermijnt en het potentieel van multimodale LLMs beperkt. Om dit aan te pakken, introduceren we Supervised Embedding Alignment (SEA), een methode voor token-niveau uitlijning die gebruikmaakt van vision-language vooraf getrainde modellen, zoals CLIP, om visuele tokens uit te lijnen met de embeddingruimte van de LLM via contrastief leren. Deze aanpak zorgt voor een meer coherente integratie van visuele en taalrepresentaties, wat de prestaties en interpreteerbaarheid van multimodale LLMs verbetert terwijl hun inherente mogelijkheden behouden blijven. Uitgebreide experimenten tonen aan dat SEA MLLMs effectief verbetert, vooral voor kleinere modellen, zonder extra data of inferentieberekeningen toe te voegen. SEA legt ook de basis voor het ontwikkelen van meer algemene en aanpasbare oplossingen om multimodale systemen te versterken.

English

Multimodal Large Language Models (MLLMs) have recently demonstrated remarkable perceptual and reasoning abilities, typically comprising a Vision Encoder, an Adapter, and a Large Language Model (LLM). The adapter serves as the critical bridge between the visual and language components. However, training adapters with image-level supervision often results in significant misalignment, undermining the LLMs' capabilities and limiting the potential of Multimodal LLMs. To address this, we introduce Supervised Embedding Alignment (SEA), a token-level alignment method that leverages vision-language pre-trained models, such as CLIP, to align visual tokens with the LLM's embedding space through contrastive learning. This approach ensures a more coherent integration of visual and language representations, enhancing the performance and interpretability of multimodal LLMs while preserving their inherent capabilities. Extensive experiments show that SEA effectively improves MLLMs, particularly for smaller models, without adding extra data or inference computation. SEA also lays the groundwork for developing more general and adaptable solutions to enhance multimodal systems.