Erfreuen Sie sich: Mischungs-aufgelöste Anpassung für multimodale große Sprachmodelle

Feast Your Eyes: Mixture-of-Resolution Adaptation for Multimodal Large Language Models

March 5, 2024

Autoren: Gen Luo, Yiyi Zhou, Yuxin Zhang, Xiawu Zheng, Xiaoshuai Sun, Rongrong Ji

cs.AI

Zusammenfassung

Trotz bemerkenswerter Fortschritte sind bestehende multimodale große Sprachmodelle (MLLMs) immer noch in der feinkörnigen visuellen Erkennung unterlegen. Im Gegensatz zu früheren Arbeiten untersuchen wir dieses Problem aus der Perspektive der Bildauflösung und zeigen auf, dass eine Kombination von niedrig- und hochauflösenden visuellen Merkmalen diesen Mangel effektiv mildern kann. Basierend auf dieser Beobachtung schlagen wir eine neuartige und effiziente Methode für MLLMs vor, die als Mixture-of-Resolution Adaptation (MRA) bezeichnet wird. Insbesondere verwendet MRA zwei visuelle Pfade für Bilder mit unterschiedlichen Auflösungen, wobei hochauflösende visuelle Informationen über die neuartigen Mixture-of-Resolution Adapter (MR-Adapter) in den Pfad mit niedriger Auflösung eingebettet werden. Dieses Design reduziert auch erheblich die Eingabesequenzlänge von MLLMs. Zur Validierung von MRA wenden wir es auf ein kürzlich veröffentlichtes MLLM namens LLaVA an und bezeichnen das neue Modell als LLaVA-HR. Wir führen umfangreiche Experimente zu 11 Vision-Language (VL)-Aufgaben durch, die zeigen, dass LLaVA-HR bestehende MLLMs in 8 VL-Aufgaben übertrifft, z. B. +9,4% bei TextVQA. Wichtig ist, dass sowohl das Training als auch die Inferenz von LLaVA-HR mit MRA effizient bleiben, z. B. 20 Trainingsstunden und 3-mal schnellere Inferenzgeschwindigkeit als bei LLaVA-1.5. Die Quellcodes sind verfügbar unter: https://github.com/luogen1996/LLaVA-HR.

English

Despite remarkable progress, existing multimodal large language models (MLLMs) are still inferior in granular visual recognition. Contrary to previous works, we study this problem from the perspective of image resolution, and reveal that a combination of low- and high-resolution visual features can effectively mitigate this shortcoming. Based on this observation, we propose a novel and efficient method for MLLMs, termed Mixture-of-Resolution Adaptation (MRA). In particular, MRA adopts two visual pathways for images with different resolutions, where high-resolution visual information is embedded into the low-resolution pathway via the novel mixture-of-resolution adapters (MR-Adapters). This design also greatly reduces the input sequence length of MLLMs. To validate MRA, we apply it to a recent MLLM called LLaVA, and term the new model LLaVA-HR. We conduct extensive experiments on 11 vision-language (VL) tasks, which show that LLaVA-HR outperforms existing MLLMs on 8 VL tasks, e.g., +9.4% on TextVQA. More importantly, both training and inference of LLaVA-HR remain efficient with MRA, e.g., 20 training hours and 3times inference speed than LLaVA-1.5. Source codes are released at: https://github.com/luogen1996/LLaVA-HR.