SEA: Allineamento Supervisionato degli Embedding per l'Integrazione Visivo-Testuale a Livello di Token nei MLLM

SEA: Supervised Embedding Alignment for Token-Level Visual-Textual Integration in MLLMs

August 21, 2024

Autori: Yuanyang Yin, Yaqi Zhao, Yajie Zhang, Ke Lin, Jiahao Wang, Xin Tao, Pengfei Wan, Di Zhang, Baoqun Yin, Wentao Zhang

cs.AI

Abstract

I Modelli Linguistici Multimodali di Grande Dimensione (MLLMs) hanno recentemente dimostrato notevoli capacità percettive e di ragionamento, tipicamente composti da un Encoder Visivo, un Adapter e un Modello Linguistico di Grande Dimensione (LLM). L'adapter funge da ponte cruciale tra i componenti visivi e linguistici. Tuttavia, l'addestramento degli adapter con supervisione a livello di immagine spesso risulta in un significativo disallineamento, compromettendo le capacità degli LLM e limitando il potenziale dei Modelli Linguistici Multimodali. Per affrontare questo problema, introduciamo il Supervised Embedding Alignment (SEA), un metodo di allineamento a livello di token che sfrutta modelli pre-addestrati visione-linguaggio, come CLIP, per allineare i token visivi con lo spazio di embedding dell'LLM attraverso l'apprendimento contrastivo. Questo approccio garantisce un'integrazione più coerente delle rappresentazioni visive e linguistiche, migliorando le prestazioni e l'interpretabilità dei modelli linguistici multimodali preservandone le capacità intrinseche. Esperimenti estensivi dimostrano che SEA migliora efficacemente gli MLLMs, in particolare per i modelli più piccoli, senza aggiungere dati extra o calcoli di inferenza. SEA getta inoltre le basi per lo sviluppo di soluzioni più generali e adattabili per migliorare i sistemi multimodali.

English

Multimodal Large Language Models (MLLMs) have recently demonstrated remarkable perceptual and reasoning abilities, typically comprising a Vision Encoder, an Adapter, and a Large Language Model (LLM). The adapter serves as the critical bridge between the visual and language components. However, training adapters with image-level supervision often results in significant misalignment, undermining the LLMs' capabilities and limiting the potential of Multimodal LLMs. To address this, we introduce Supervised Embedding Alignment (SEA), a token-level alignment method that leverages vision-language pre-trained models, such as CLIP, to align visual tokens with the LLM's embedding space through contrastive learning. This approach ensures a more coherent integration of visual and language representations, enhancing the performance and interpretability of multimodal LLMs while preserving their inherent capabilities. Extensive experiments show that SEA effectively improves MLLMs, particularly for smaller models, without adding extra data or inference computation. SEA also lays the groundwork for developing more general and adaptable solutions to enhance multimodal systems.