ADEM-VL: Fusão Adaptativa e Incorporada para Ajuste Eficiente de Visão e Linguagem

ADEM-VL: Adaptive and Embedded Fusion for Efficient Vision-Language Tuning

October 23, 2024

Autores: Zhiwei Hao, Jianyuan Guo, Li Shen, Yong Luo, Han Hu, Yonggang Wen

cs.AI

Resumo

Os avanços recentes na fusão multimodal testemunharam o notável sucesso dos modelos visão-linguagem (VL), que se destacam em várias aplicações multimodais, como descrição de imagens e resposta a perguntas visuais. No entanto, a construção de modelos VL requer recursos de hardware substanciais, onde a eficiência é limitada por dois fatores-chave: a sequência de entrada estendida do modelo de linguagem com características visuais exige mais operações computacionais, e um grande número de parâmetros aprendíveis adicionais aumenta a complexidade da memória. Esses desafios restringem significativamente a aplicabilidade mais ampla de tais modelos. Para preencher essa lacuna, propomos o ADEM-VL, um método eficiente de visão-linguagem que ajusta modelos VL com base em modelos de linguagem grandes pré-treinados (LLMs) adotando um mecanismo de atenção cruzada livre de parâmetros para medidas de similaridade na fusão multimodal. Esta abordagem requer apenas a incorporação de características visuais no espaço da linguagem, reduzindo significativamente o número de parâmetros treináveis e acelerando tanto o treinamento quanto a velocidade de inferência. Para aprimorar a aprendizagem de representação no módulo de fusão, introduzimos um esquema eficiente de geração de características multiescala que requer apenas uma passagem direta pelo codificador de visão. Além disso, propomos um esquema de fusão adaptativo que descarta dinamicamente informações visuais menos relevantes para cada token de texto com base em seu escore de atenção. Isso garante que o processo de fusão priorize as características visuais mais pertinentes. Com experimentos em várias tarefas, incluindo resposta a perguntas visuais, descrição de imagens e seguimento de instruções, demonstramos que nosso framework supera abordagens existentes. Especificamente, nosso método supera os métodos existentes em uma precisão média de 0,77% no conjunto de dados ScienceQA, com latência de treinamento e inferência reduzida, demonstrando a superioridade de nosso framework. O código está disponível em https://github.com/Hao840/ADEM-VL.

English

Recent advancements in multimodal fusion have witnessed the remarkable success of vision-language (VL) models, which excel in various multimodal applications such as image captioning and visual question answering. However, building VL models requires substantial hardware resources, where efficiency is restricted by two key factors: the extended input sequence of the language model with vision features demands more computational operations, and a large number of additional learnable parameters increase memory complexity. These challenges significantly restrict the broader applicability of such models. To bridge this gap, we propose ADEM-VL, an efficient vision-language method that tunes VL models based on pretrained large language models (LLMs) by adopting a parameter-free cross-attention mechanism for similarity measurements in multimodal fusion. This approach only requires embedding vision features into the language space, significantly reducing the number of trainable parameters and accelerating both training and inference speeds. To enhance representation learning in fusion module, we introduce an efficient multiscale feature generation scheme that requires only a single forward pass through the vision encoder. Moreover, we propose an adaptive fusion scheme that dynamically discards less relevant visual information for each text token based on its attention score. This ensures that the fusion process prioritizes the most pertinent visual features. With experiments on various tasks including visual question answering, image captioning, and instruction-following, we demonstrate that our framework outperforms existing approaches. Specifically, our method surpasses existing methods by an average accuracy of 0.77% on ScienceQA dataset, with reduced training and inference latency, demonstrating the superiority of our framework. The code is available at https://github.com/Hao840/ADEM-VL.