Delizia i tuoi occhi: Adattamento a Miscela di Risoluzioni per Modelli Linguistici Multimodali di Grande Scala

Feast Your Eyes: Mixture-of-Resolution Adaptation for Multimodal Large Language Models

March 5, 2024

Autori: Gen Luo, Yiyi Zhou, Yuxin Zhang, Xiawu Zheng, Xiaoshuai Sun, Rongrong Ji

cs.AI

Abstract

Nonostante i notevoli progressi, gli attuali modelli linguistici multimodali di grandi dimensioni (MLLMs) sono ancora inferiori nel riconoscimento visivo granulare. Contrariamente ai lavori precedenti, studiamo questo problema dal punto di vista della risoluzione delle immagini e riveliamo che una combinazione di caratteristiche visive a bassa e alta risoluzione può mitigare efficacemente questa carenza. Sulla base di questa osservazione, proponiamo un metodo nuovo ed efficiente per gli MLLMs, denominato Mixture-of-Resolution Adaptation (MRA). In particolare, MRA adotta due percorsi visivi per immagini con diverse risoluzioni, dove le informazioni visive ad alta risoluzione sono incorporate nel percorso a bassa risoluzione tramite i nuovi adattatori a miscela di risoluzione (MR-Adapters). Questo design riduce notevolmente anche la lunghezza della sequenza di input degli MLLMs. Per validare MRA, lo applichiamo a un recente MLLM chiamato LLaVA, e denominiamo il nuovo modello LLaVA-HR. Condividiamo esperimenti estesi su 11 task di visione e linguaggio (VL), che dimostrano che LLaVA-HR supera gli MLLMs esistenti su 8 task VL, ad esempio, +9,4% su TextVQA. Ancora più importante, sia l'addestramento che l'inferenza di LLaVA-HR rimangono efficienti con MRA, ad esempio, 20 ore di addestramento e una velocità di inferenza 3 volte superiore rispetto a LLaVA-1.5. I codici sorgenti sono rilasciati su: https://github.com/luogen1996/LLaVA-HR.

English

Despite remarkable progress, existing multimodal large language models (MLLMs) are still inferior in granular visual recognition. Contrary to previous works, we study this problem from the perspective of image resolution, and reveal that a combination of low- and high-resolution visual features can effectively mitigate this shortcoming. Based on this observation, we propose a novel and efficient method for MLLMs, termed Mixture-of-Resolution Adaptation (MRA). In particular, MRA adopts two visual pathways for images with different resolutions, where high-resolution visual information is embedded into the low-resolution pathway via the novel mixture-of-resolution adapters (MR-Adapters). This design also greatly reduces the input sequence length of MLLMs. To validate MRA, we apply it to a recent MLLM called LLaVA, and term the new model LLaVA-HR. We conduct extensive experiments on 11 vision-language (VL) tasks, which show that LLaVA-HR outperforms existing MLLMs on 8 VL tasks, e.g., +9.4% on TextVQA. More importantly, both training and inference of LLaVA-HR remain efficient with MRA, e.g., 20 training hours and 3times inference speed than LLaVA-1.5. Source codes are released at: https://github.com/luogen1996/LLaVA-HR.