SEA: Überwachtes Einbettungsabgleich für die Integration von visuell-textuellen Token auf der Ebene von MLLMs

SEA: Supervised Embedding Alignment for Token-Level Visual-Textual Integration in MLLMs

August 21, 2024

Autoren: Yuanyang Yin, Yaqi Zhao, Yajie Zhang, Ke Lin, Jiahao Wang, Xin Tao, Pengfei Wan, Di Zhang, Baoqun Yin, Wentao Zhang

cs.AI

Zusammenfassung

Multimodale Large Language Models (MLLMs) haben kürzlich bemerkenswerte Wahrnehmungs- und Denkfähigkeiten gezeigt, die typischerweise aus einem Vision Encoder, einem Adapter und einem Large Language Model (LLM) bestehen. Der Adapter dient als entscheidende Brücke zwischen den visuellen und sprachlichen Komponenten. Das Training von Adaptern mit bildbasierter Überwachung führt jedoch häufig zu erheblichen Missanpassungen, die die Fähigkeiten der LLMs untergraben und das Potenzial von Multimodalen LLMs einschränken. Um dies zu lösen, führen wir Supervised Embedding Alignment (SEA) ein, eine auf Token-Ebene ausgerichtete Methode, die auf vorab trainierten Modellen für die Verbindung von Vision und Sprache, wie z.B. CLIP, basiert, um visuelle Tokens mit dem Einbettungsraum des LLMs durch kontrastives Lernen auszurichten. Dieser Ansatz gewährleistet eine kohärentere Integration von visuellen und sprachlichen Repräsentationen, verbessert die Leistung und Interpretierbarkeit von multimodalen LLMs und bewahrt gleichzeitig deren inhärente Fähigkeiten. Umfangreiche Experimente zeigen, dass SEA die MLLMs effektiv verbessert, insbesondere für kleinere Modelle, ohne zusätzliche Daten oder Inferenzberechnungen hinzuzufügen. SEA legt auch den Grundstein für die Entwicklung allgemeinerer und anpassungsfähiger Lösungen zur Verbesserung von multimodalen Systemen.

English

Multimodal Large Language Models (MLLMs) have recently demonstrated remarkable perceptual and reasoning abilities, typically comprising a Vision Encoder, an Adapter, and a Large Language Model (LLM). The adapter serves as the critical bridge between the visual and language components. However, training adapters with image-level supervision often results in significant misalignment, undermining the LLMs' capabilities and limiting the potential of Multimodal LLMs. To address this, we introduce Supervised Embedding Alignment (SEA), a token-level alignment method that leverages vision-language pre-trained models, such as CLIP, to align visual tokens with the LLM's embedding space through contrastive learning. This approach ensures a more coherent integration of visual and language representations, enhancing the performance and interpretability of multimodal LLMs while preserving their inherent capabilities. Extensive experiments show that SEA effectively improves MLLMs, particularly for smaller models, without adding extra data or inference computation. SEA also lays the groundwork for developing more general and adaptable solutions to enhance multimodal systems.