Deleite Seus Olhos: Adaptação de Mistura de Resoluções para Modelos de Linguagem Multimodais de Grande Escala

Feast Your Eyes: Mixture-of-Resolution Adaptation for Multimodal Large Language Models

March 5, 2024

Autores: Gen Luo, Yiyi Zhou, Yuxin Zhang, Xiawu Zheng, Xiaoshuai Sun, Rongrong Ji

cs.AI

Resumo

Apesar dos avanços notáveis, os modelos de linguagem multimodal de grande escala (MLLMs) existentes ainda são inferiores no reconhecimento visual granular. Contrariamente a trabalhos anteriores, estudamos esse problema sob a perspectiva da resolução de imagem e revelamos que uma combinação de características visuais de baixa e alta resolução pode efetivamente mitigar essa deficiência. Com base nessa observação, propomos um método novo e eficiente para MLLMs, denominado Adaptação de Mistura de Resoluções (MRA). Especificamente, o MRA adota dois caminhos visuais para imagens com diferentes resoluções, onde informações visuais de alta resolução são incorporadas ao caminho de baixa resolução por meio dos novos adaptadores de mistura de resoluções (MR-Adapters). Esse design também reduz significativamente o comprimento da sequência de entrada dos MLLMs. Para validar o MRA, aplicamos-no a um MLLM recente chamado LLaVA, denominando o novo modelo LLaVA-HR. Realizamos extensos experimentos em 11 tarefas de visão e linguagem (VL), que mostram que o LLaVA-HR supera os MLLMs existentes em 8 tarefas VL, por exemplo, +9,4% no TextVQA. Mais importante, tanto o treinamento quanto a inferência do LLaVA-HR permanecem eficientes com o MRA, por exemplo, 20 horas de treinamento e velocidade de inferência 3 vezes maior que o LLaVA-1.5. Os códigos-fonte estão disponíveis em: https://github.com/luogen1996/LLaVA-HR.

English

Despite remarkable progress, existing multimodal large language models (MLLMs) are still inferior in granular visual recognition. Contrary to previous works, we study this problem from the perspective of image resolution, and reveal that a combination of low- and high-resolution visual features can effectively mitigate this shortcoming. Based on this observation, we propose a novel and efficient method for MLLMs, termed Mixture-of-Resolution Adaptation (MRA). In particular, MRA adopts two visual pathways for images with different resolutions, where high-resolution visual information is embedded into the low-resolution pathway via the novel mixture-of-resolution adapters (MR-Adapters). This design also greatly reduces the input sequence length of MLLMs. To validate MRA, we apply it to a recent MLLM called LLaVA, and term the new model LLaVA-HR. We conduct extensive experiments on 11 vision-language (VL) tasks, which show that LLaVA-HR outperforms existing MLLMs on 8 VL tasks, e.g., +9.4% on TextVQA. More importantly, both training and inference of LLaVA-HR remain efficient with MRA, e.g., 20 training hours and 3times inference speed than LLaVA-1.5. Source codes are released at: https://github.com/luogen1996/LLaVA-HR.