Régalez vos yeux : Adaptation par Mélange de Résolutions pour les Modèles de Langage Multimodaux à Grande Échelle

Feast Your Eyes: Mixture-of-Resolution Adaptation for Multimodal Large Language Models

March 5, 2024

Auteurs: Gen Luo, Yiyi Zhou, Yuxin Zhang, Xiawu Zheng, Xiaoshuai Sun, Rongrong Ji

cs.AI

Résumé

Malgré des progrès remarquables, les modèles de langage multimodaux à grande échelle (MLLMs) existants restent inférieurs en matière de reconnaissance visuelle granulaire. Contrairement aux travaux précédents, nous étudions ce problème sous l'angle de la résolution d'image et révélons qu'une combinaison de caractéristiques visuelles à basse et haute résolution peut efficacement atténuer cette lacune. Sur la base de cette observation, nous proposons une méthode novatrice et efficace pour les MLLMs, appelée Adaptation de Mélange de Résolutions (MRA). En particulier, MRA adopte deux voies visuelles pour les images de différentes résolutions, où les informations visuelles à haute résolution sont intégrées dans la voie à basse résolution via les nouveaux adaptateurs de mélange de résolutions (MR-Adapters). Cette conception réduit également considérablement la longueur de la séquence d'entrée des MLLMs. Pour valider MRA, nous l'appliquons à un MLLM récent appelé LLaVA, et nommons le nouveau modèle LLaVA-HR. Nous menons des expériences approfondies sur 11 tâches de vision-langage (VL), qui montrent que LLaVA-HR surpasse les MLLMs existants sur 8 tâches VL, par exemple, +9,4% sur TextVQA. Plus important encore, l'entraînement et l'inférence de LLaVA-HR restent efficaces avec MRA, par exemple, 20 heures d'entraînement et une vitesse d'inférence 3 fois supérieure à celle de LLaVA-1.5. Les codes sources sont disponibles à l'adresse suivante : https://github.com/luogen1996/LLaVA-HR.

English

Despite remarkable progress, existing multimodal large language models (MLLMs) are still inferior in granular visual recognition. Contrary to previous works, we study this problem from the perspective of image resolution, and reveal that a combination of low- and high-resolution visual features can effectively mitigate this shortcoming. Based on this observation, we propose a novel and efficient method for MLLMs, termed Mixture-of-Resolution Adaptation (MRA). In particular, MRA adopts two visual pathways for images with different resolutions, where high-resolution visual information is embedded into the low-resolution pathway via the novel mixture-of-resolution adapters (MR-Adapters). This design also greatly reduces the input sequence length of MLLMs. To validate MRA, we apply it to a recent MLLM called LLaVA, and term the new model LLaVA-HR. We conduct extensive experiments on 11 vision-language (VL) tasks, which show that LLaVA-HR outperforms existing MLLMs on 8 VL tasks, e.g., +9.4% on TextVQA. More importantly, both training and inference of LLaVA-HR remain efficient with MRA, e.g., 20 training hours and 3times inference speed than LLaVA-1.5. Source codes are released at: https://github.com/luogen1996/LLaVA-HR.