ADEM-VL：効率的なビジョン言語調整のための適応型組み込み融合

ADEM-VL: Adaptive and Embedded Fusion for Efficient Vision-Language Tuning

October 23, 2024

著者: Zhiwei Hao, Jianyuan Guo, Li Shen, Yong Luo, Han Hu, Yonggang Wen

cs.AI

要旨

最近の多様な融合技術の進展により、視覚言語（VL）モデルが目覚ましい成功を収め、画像キャプショニングや視覚的質問応答などのさまざまな多様なアプリケーションで優れた成績を収めています。ただし、VLモデルの構築には相当なハードウェアリソースが必要であり、効率は2つの主要要因によって制限されます。言語モデルと視覚特徴の拡張された入力シーケンスはより多くの計算操作を要求し、多数の追加の学習可能なパラメータはメモリの複雑さを増加させます。これらの課題は、このようなモデルの広範な適用を著しく制限しています。このギャップを埋めるために、我々はADEM-VLを提案します。これは、事前学習された大規模言語モデル（LLMs）に基づいてVLモデルを調整する効率的な視覚言語手法であり、マルチモーダル融合における類似性測定のためにパラメータフリーのクロスアテンションメカニズムを採用しています。このアプローチでは、視覚特徴を言語空間に埋め込むだけであり、学習可能なパラメータの数を大幅に削減し、トレーニングと推論の両方のスピードを加速します。融合モジュールにおける表現学習を向上させるために、効率的なマルチスケール特徴生成スキームを導入し、ビジョンエンコーダを通じての単一の順方向パスのみが必要です。さらに、各テキストトークンに基づいて注意スコアに応じて動的により関連性の低い視覚情報を破棄する適応型融合スキームを提案します。これにより、融合プロセスが最も適切な視覚的特徴を優先することが保証されます。視覚的質問応答、画像キャプショニング、指示に従うなどのさまざまなタスクでの実験を通じて、既存の手法を上回ることを示します。具体的には、ScienceQAデータセットにおいて平均精度が0.77%向上し、トレーニングと推論の遅延が軽減されたことで、我々のフレームワークの優位性が示されました。コードはhttps://github.com/Hao840/ADEM-VL で入手可能です。

English

Recent advancements in multimodal fusion have witnessed the remarkable success of vision-language (VL) models, which excel in various multimodal applications such as image captioning and visual question answering. However, building VL models requires substantial hardware resources, where efficiency is restricted by two key factors: the extended input sequence of the language model with vision features demands more computational operations, and a large number of additional learnable parameters increase memory complexity. These challenges significantly restrict the broader applicability of such models. To bridge this gap, we propose ADEM-VL, an efficient vision-language method that tunes VL models based on pretrained large language models (LLMs) by adopting a parameter-free cross-attention mechanism for similarity measurements in multimodal fusion. This approach only requires embedding vision features into the language space, significantly reducing the number of trainable parameters and accelerating both training and inference speeds. To enhance representation learning in fusion module, we introduce an efficient multiscale feature generation scheme that requires only a single forward pass through the vision encoder. Moreover, we propose an adaptive fusion scheme that dynamically discards less relevant visual information for each text token based on its attention score. This ensures that the fusion process prioritizes the most pertinent visual features. With experiments on various tasks including visual question answering, image captioning, and instruction-following, we demonstrate that our framework outperforms existing approaches. Specifically, our method surpasses existing methods by an average accuracy of 0.77% on ScienceQA dataset, with reduced training and inference latency, demonstrating the superiority of our framework. The code is available at https://github.com/Hao840/ADEM-VL.