ADEM-VL: Адаптивное и встроенное слияние для эффективной настройки видео-языковых моделей.

ADEM-VL: Adaptive and Embedded Fusion for Efficient Vision-Language Tuning

October 23, 2024

Авторы: Zhiwei Hao, Jianyuan Guo, Li Shen, Yong Luo, Han Hu, Yonggang Wen

cs.AI

Аннотация

Недавние достижения в области мультимодального объединения свидетельствуют о замечательном успехе моделей вид-язык (VL), которые превосходно справляются с различными мультимодальными приложениями, такими как описание изображений и визуальное вопросно-ответное моделирование. Однако создание моделей VL требует значительных аппаратных ресурсов, где эффективность ограничивается двумя ключевыми факторами: расширенная входная последовательность языковой модели с признаками видения требует большего количества вычислительных операций, а большое количество дополнительных обучаемых параметров увеличивает сложность памяти. Эти вызовы значительно ограничивают более широкое применение таких моделей. Для преодоления этого разрыва мы предлагаем ADEM-VL, эффективный метод вид-язык, который настраивает модели VL на основе предварительно обученных крупных языковых моделей (LLM), принимая во внимание механизм кросс-внимания без параметров для измерения сходства в мультимодальном объединении. Этот подход требует только встраивания признаков видения в языковое пространство, что значительно сокращает количество обучаемых параметров и ускоряет как обучение, так и скорость вывода. Для улучшения обучения представлений в модуле объединения мы предлагаем эффективную схему генерации многомасштабных признаков, которая требует только одного прямого прохода через кодировщик видения. Более того, мы предлагаем адаптивную схему объединения, которая динамически отбрасывает менее значимую визуальную информацию для каждого текстового токена на основе его оценки внимания. Это обеспечивает, что процесс объединения приоритизирует наиболее соответствующие визуальные признаки. Проведя эксперименты на различных задачах, включая визуальное вопросно-ответное моделирование, описание изображений и следование инструкциям, мы демонстрируем, что наша структура превосходит существующие подходы. В частности, наш метод превосходит существующие методы на среднюю точность 0,77% на наборе данных ScienceQA, с сокращенной задержкой обучения и вывода, демонстрируя превосходство нашей структуры. Код доступен по адресу https://github.com/Hao840/ADEM-VL.

English

Recent advancements in multimodal fusion have witnessed the remarkable success of vision-language (VL) models, which excel in various multimodal applications such as image captioning and visual question answering. However, building VL models requires substantial hardware resources, where efficiency is restricted by two key factors: the extended input sequence of the language model with vision features demands more computational operations, and a large number of additional learnable parameters increase memory complexity. These challenges significantly restrict the broader applicability of such models. To bridge this gap, we propose ADEM-VL, an efficient vision-language method that tunes VL models based on pretrained large language models (LLMs) by adopting a parameter-free cross-attention mechanism for similarity measurements in multimodal fusion. This approach only requires embedding vision features into the language space, significantly reducing the number of trainable parameters and accelerating both training and inference speeds. To enhance representation learning in fusion module, we introduce an efficient multiscale feature generation scheme that requires only a single forward pass through the vision encoder. Moreover, we propose an adaptive fusion scheme that dynamically discards less relevant visual information for each text token based on its attention score. This ensures that the fusion process prioritizes the most pertinent visual features. With experiments on various tasks including visual question answering, image captioning, and instruction-following, we demonstrate that our framework outperforms existing approaches. Specifically, our method surpasses existing methods by an average accuracy of 0.77% on ScienceQA dataset, with reduced training and inference latency, demonstrating the superiority of our framework. The code is available at https://github.com/Hao840/ADEM-VL.