SEA: Надзорное выравнивание вложений для интеграции визуально-текстового уровня токенов в мультимодельных языковых моделях.

SEA: Supervised Embedding Alignment for Token-Level Visual-Textual Integration in MLLMs

August 21, 2024

Авторы: Yuanyang Yin, Yaqi Zhao, Yajie Zhang, Ke Lin, Jiahao Wang, Xin Tao, Pengfei Wan, Di Zhang, Baoqun Yin, Wentao Zhang

cs.AI

Аннотация

Недавно мультимодальные модели больших языков (MLLM) продемонстрировали замечательные восприимчивые и рассуждающие способности, обычно включающие в себя Визуальный Кодировщик, Адаптер и Большую Языковую Модель (LLM). Адаптер служит важным мостом между визуальными и языковыми компонентами. Однако обучение адаптеров с наблюдением на уровне изображения часто приводит к значительному несоответствию, подрывая возможности LLM и ограничивая потенциал мультимодальных LLM. Для решения этой проблемы мы представляем метод Наблюдаемого Выравнивания Вложений (SEA), который выравнивает токены на уровне токенов, используя предварительно обученные модели видео-языка, такие как CLIP, для выравнивания визуальных токенов с пространством вложений LLM через контрастное обучение. Этот подход обеспечивает более согласованное интегрирование визуальных и языковых представлений, улучшая производительность и интерпретируемость мультимодальных LLM, сохраняя их врожденные возможности. Обширные эксперименты показывают, что SEA эффективно улучшает MLLM, особенно для более маленьких моделей, без добавления дополнительных данных или вычислений вывода. SEA также заложил основу для разработки более общих и адаптируемых решений для улучшения мультимодальных систем.

English

Multimodal Large Language Models (MLLMs) have recently demonstrated remarkable perceptual and reasoning abilities, typically comprising a Vision Encoder, an Adapter, and a Large Language Model (LLM). The adapter serves as the critical bridge between the visual and language components. However, training adapters with image-level supervision often results in significant misalignment, undermining the LLMs' capabilities and limiting the potential of Multimodal LLMs. To address this, we introduce Supervised Embedding Alignment (SEA), a token-level alignment method that leverages vision-language pre-trained models, such as CLIP, to align visual tokens with the LLM's embedding space through contrastive learning. This approach ensures a more coherent integration of visual and language representations, enhancing the performance and interpretability of multimodal LLMs while preserving their inherent capabilities. Extensive experiments show that SEA effectively improves MLLMs, particularly for smaller models, without adding extra data or inference computation. SEA also lays the groundwork for developing more general and adaptable solutions to enhance multimodal systems.