Deleita tus ojos: Adaptación de Mezcla de Resoluciones para Modelos de Lenguaje Multimodales a Gran Escala

Feast Your Eyes: Mixture-of-Resolution Adaptation for Multimodal Large Language Models

March 5, 2024

Autores: Gen Luo, Yiyi Zhou, Yuxin Zhang, Xiawu Zheng, Xiaoshuai Sun, Rongrong Ji

cs.AI

Resumen

A pesar de los avances notables, los modelos de lenguaje multimodal de gran escala (MLLMs) existentes aún son inferiores en el reconocimiento visual granular. Contrario a trabajos previos, estudiamos este problema desde la perspectiva de la resolución de imagen y revelamos que una combinación de características visuales de baja y alta resolución puede mitigar eficazmente esta limitación. Basándonos en esta observación, proponemos un método novedoso y eficiente para MLLMs, denominado Adaptación de Mezcla de Resoluciones (MRA). En particular, MRA adopta dos rutas visuales para imágenes con diferentes resoluciones, donde la información visual de alta resolución se integra en la ruta de baja resolución mediante los nuevos adaptadores de mezcla de resoluciones (MR-Adapters). Este diseño también reduce significativamente la longitud de la secuencia de entrada de los MLLMs. Para validar MRA, lo aplicamos a un MLLM reciente llamado LLaVA, y denominamos al nuevo modelo LLaVA-HR. Realizamos experimentos exhaustivos en 11 tareas de visión y lenguaje (VL), que muestran que LLaVA-HR supera a los MLLMs existentes en 8 tareas VL, por ejemplo, +9.4% en TextVQA. Más importante aún, tanto el entrenamiento como la inferencia de LLaVA-HR siguen siendo eficientes con MRA, por ejemplo, 20 horas de entrenamiento y una velocidad de inferencia 3 veces mayor que LLaVA-1.5. Los códigos fuente se publican en: https://github.com/luogen1996/LLaVA-HR.

English

Despite remarkable progress, existing multimodal large language models (MLLMs) are still inferior in granular visual recognition. Contrary to previous works, we study this problem from the perspective of image resolution, and reveal that a combination of low- and high-resolution visual features can effectively mitigate this shortcoming. Based on this observation, we propose a novel and efficient method for MLLMs, termed Mixture-of-Resolution Adaptation (MRA). In particular, MRA adopts two visual pathways for images with different resolutions, where high-resolution visual information is embedded into the low-resolution pathway via the novel mixture-of-resolution adapters (MR-Adapters). This design also greatly reduces the input sequence length of MLLMs. To validate MRA, we apply it to a recent MLLM called LLaVA, and term the new model LLaVA-HR. We conduct extensive experiments on 11 vision-language (VL) tasks, which show that LLaVA-HR outperforms existing MLLMs on 8 VL tasks, e.g., +9.4% on TextVQA. More importantly, both training and inference of LLaVA-HR remain efficient with MRA, e.g., 20 training hours and 3times inference speed than LLaVA-1.5. Source codes are released at: https://github.com/luogen1996/LLaVA-HR.