SEA: Alinhamento de Incorporação Supervisionada para Integração Visual-Textual em MLLMs ao Nível de Token

SEA: Supervised Embedding Alignment for Token-Level Visual-Textual Integration in MLLMs

August 21, 2024

Autores: Yuanyang Yin, Yaqi Zhao, Yajie Zhang, Ke Lin, Jiahao Wang, Xin Tao, Pengfei Wan, Di Zhang, Baoqun Yin, Wentao Zhang

cs.AI

Resumo

Os Modelos de Linguagem Multimodais de Grande Escala (MLLMs) demonstraram recentemente notáveis habilidades perceptivas e de raciocínio, geralmente compostos por um Codificador de Visão, um Adaptador e um Modelo de Linguagem de Grande Escala (LLM). O adaptador atua como a ponte crítica entre os componentes visual e linguístico. No entanto, treinar adaptadores com supervisão em nível de imagem frequentemente resulta em desalinhamentos significativos, comprometendo as capacidades dos LLMs e limitando o potencial dos MLLMs multimodais. Para lidar com isso, introduzimos o Alinhamento de Incorporação Supervisionado (SEA), um método de alinhamento em nível de token que aproveita modelos pré-treinados de visão-linguagem, como o CLIP, para alinhar tokens visuais com o espaço de incorporação do LLM por meio de aprendizado contrastivo. Essa abordagem garante uma integração mais coerente das representações visual e linguística, aprimorando o desempenho e a interpretabilidade dos MLLMs multimodais, ao mesmo tempo que preserva suas capacidades inerentes. Experimentos extensivos mostram que o SEA melhora efetivamente os MLLMs, especialmente para modelos menores, sem adicionar dados extras ou computação de inferência. O SEA também lança as bases para o desenvolvimento de soluções mais gerais e adaptáveis para aprimorar sistemas multimodais.

English

Multimodal Large Language Models (MLLMs) have recently demonstrated remarkable perceptual and reasoning abilities, typically comprising a Vision Encoder, an Adapter, and a Large Language Model (LLM). The adapter serves as the critical bridge between the visual and language components. However, training adapters with image-level supervision often results in significant misalignment, undermining the LLMs' capabilities and limiting the potential of Multimodal LLMs. To address this, we introduce Supervised Embedding Alignment (SEA), a token-level alignment method that leverages vision-language pre-trained models, such as CLIP, to align visual tokens with the LLM's embedding space through contrastive learning. This approach ensures a more coherent integration of visual and language representations, enhancing the performance and interpretability of multimodal LLMs while preserving their inherent capabilities. Extensive experiments show that SEA effectively improves MLLMs, particularly for smaller models, without adding extra data or inference computation. SEA also lays the groundwork for developing more general and adaptable solutions to enhance multimodal systems.