目を奪う：マルチモーダル大規模言語モデルのための混合解像度適応

Feast Your Eyes: Mixture-of-Resolution Adaptation for Multimodal Large Language Models

March 5, 2024

著者: Gen Luo, Yiyi Zhou, Yuxin Zhang, Xiawu Zheng, Xiaoshuai Sun, Rongrong Ji

cs.AI

要旨

顕著な進展にもかかわらず、既存のマルチモーダル大規模言語モデル（MLLMs）は、細粒度の視覚認識において依然として劣っている。従来の研究とは異なり、我々はこの問題を画像解像度の観点から検討し、低解像度と高解像度の視覚特徴を組み合わせることで、この欠点を効果的に緩和できることを明らかにした。この観察に基づき、我々はMLLMsのための新規かつ効率的な手法を提案し、これをMixture-of-Resolution Adaptation（MRA）と称する。特に、MRAは異なる解像度の画像に対して2つの視覚経路を採用し、高解像度の視覚情報を新規のmixture-of-resolution adapters（MR-Adapters）を介して低解像度経路に埋め込む。この設計はまた、MLLMsの入力シーケンス長を大幅に削減する。MRAを検証するため、我々はこれを最近のMLLMであるLLaVAに適用し、新たなモデルをLLaVA-HRと称する。11の視覚言語（VL）タスクにおいて広範な実験を行い、LLaVA-HRが8つのVLタスクにおいて既存のMLLMsを上回ることを示した。例えば、TextVQAにおいて+9.4%の向上を達成した。さらに重要なことに、LLaVA-HRの訓練と推論はMRAを用いても効率的であり、例えば、訓練時間は20時間、推論速度はLLaVA-1.5の3倍である。ソースコードは以下で公開されている：https://github.com/luogen1996/LLaVA-HR。

English

Despite remarkable progress, existing multimodal large language models (MLLMs) are still inferior in granular visual recognition. Contrary to previous works, we study this problem from the perspective of image resolution, and reveal that a combination of low- and high-resolution visual features can effectively mitigate this shortcoming. Based on this observation, we propose a novel and efficient method for MLLMs, termed Mixture-of-Resolution Adaptation (MRA). In particular, MRA adopts two visual pathways for images with different resolutions, where high-resolution visual information is embedded into the low-resolution pathway via the novel mixture-of-resolution adapters (MR-Adapters). This design also greatly reduces the input sequence length of MLLMs. To validate MRA, we apply it to a recent MLLM called LLaVA, and term the new model LLaVA-HR. We conduct extensive experiments on 11 vision-language (VL) tasks, which show that LLaVA-HR outperforms existing MLLMs on 8 VL tasks, e.g., +9.4% on TextVQA. More importantly, both training and inference of LLaVA-HR remain efficient with MRA, e.g., 20 training hours and 3times inference speed than LLaVA-1.5. Source codes are released at: https://github.com/luogen1996/LLaVA-HR.