ADEM-VL: Fusión Adaptativa y Embebida para Ajuste Eficiente de Visión-Lenguaje

ADEM-VL: Adaptive and Embedded Fusion for Efficient Vision-Language Tuning

October 23, 2024

Autores: Zhiwei Hao, Jianyuan Guo, Li Shen, Yong Luo, Han Hu, Yonggang Wen

cs.AI

Resumen

Los recientes avances en la fusión multimodal han presenciado el notable éxito de los modelos visión-lenguaje (VL), que sobresalen en diversas aplicaciones multimodales como la descripción de imágenes y la respuesta a preguntas visuales. Sin embargo, la construcción de modelos VL requiere recursos de hardware sustanciales, donde la eficiencia se ve restringida por dos factores clave: la secuencia de entrada extendida del modelo de lenguaje con características visuales demanda más operaciones computacionales, y un gran número de parámetros aprendibles adicionales aumentan la complejidad de la memoria. Estos desafíos restringen significativamente la aplicabilidad más amplia de tales modelos. Para cerrar esta brecha, proponemos ADEM-VL, un método eficiente de visión-lenguaje que ajusta modelos VL basados en modelos de lenguaje grandes preentrenados (LLMs) mediante la adopción de un mecanismo de atención cruzada sin parámetros para medidas de similitud en la fusión multimodal. Este enfoque solo requiere incrustar características visuales en el espacio del lenguaje, reduciendo significativamente el número de parámetros entrenables y acelerando tanto el entrenamiento como la inferencia. Para mejorar el aprendizaje de representación en el módulo de fusión, introducimos un eficiente esquema de generación de características multiescala que requiere solo un pase hacia adelante a través del codificador de visión. Además, proponemos un esquema de fusión adaptativo que descarta dinámicamente la información visual menos relevante para cada token de texto basado en su puntuación de atención. Esto asegura que el proceso de fusión priorice las características visuales más pertinentes. Con experimentos en diversas tareas que incluyen respuesta a preguntas visuales, descripción de imágenes y seguimiento de instrucciones, demostramos que nuestro marco supera a los enfoques existentes. Específicamente, nuestro método supera a los métodos existentes en un 0.77% de precisión promedio en el conjunto de datos ScienceQA, con una latencia reducida de entrenamiento e inferencia, demostrando la superioridad de nuestro marco. El código está disponible en https://github.com/Hao840/ADEM-VL.

English

Recent advancements in multimodal fusion have witnessed the remarkable success of vision-language (VL) models, which excel in various multimodal applications such as image captioning and visual question answering. However, building VL models requires substantial hardware resources, where efficiency is restricted by two key factors: the extended input sequence of the language model with vision features demands more computational operations, and a large number of additional learnable parameters increase memory complexity. These challenges significantly restrict the broader applicability of such models. To bridge this gap, we propose ADEM-VL, an efficient vision-language method that tunes VL models based on pretrained large language models (LLMs) by adopting a parameter-free cross-attention mechanism for similarity measurements in multimodal fusion. This approach only requires embedding vision features into the language space, significantly reducing the number of trainable parameters and accelerating both training and inference speeds. To enhance representation learning in fusion module, we introduce an efficient multiscale feature generation scheme that requires only a single forward pass through the vision encoder. Moreover, we propose an adaptive fusion scheme that dynamically discards less relevant visual information for each text token based on its attention score. This ensures that the fusion process prioritizes the most pertinent visual features. With experiments on various tasks including visual question answering, image captioning, and instruction-following, we demonstrate that our framework outperforms existing approaches. Specifically, our method surpasses existing methods by an average accuracy of 0.77% on ScienceQA dataset, with reduced training and inference latency, demonstrating the superiority of our framework. The code is available at https://github.com/Hao840/ADEM-VL.