HyperLLaVA: Ajuste Dinámico de Expertos Visuales y Lingüísticos para Modelos de Lenguaje Multimodales de Gran Escala

HyperLLaVA: Dynamic Visual and Language Expert Tuning for Multimodal Large Language Models

March 20, 2024

Autores: Wenqiao Zhang, Tianwei Lin, Jiang Liu, Fangxun Shu, Haoyuan Li, Lei Zhang, He Wanggui, Hao Zhou, Zheqi Lv, Hao Jiang, Juncheng Li, Siliang Tang, Yueting Zhuang

cs.AI

Resumen

Los avances recientes indican que escalar los Modelos de Lenguaje Multimodales de Gran Escala (MLLMs, por sus siglas en inglés) mejora efectivamente el rendimiento en tareas multimodales posteriores. El paradigma predominante de los MLLMs, como LLaVA, transforma características visuales en tokens similares a texto utilizando un mapeador visión-lenguaje estático, permitiendo así que los LLMs estáticos desarrollen la capacidad de comprender información visual mediante ajuste instruccional visual. Aunque prometedor, la estrategia de ajuste estático ~El ajuste estático se refiere al modelo entrenado con parámetros estáticos. que comparte los mismos parámetros puede limitar el rendimiento en diferentes tareas multimodales posteriores. En vista de esto, presentamos HyperLLaVA, que implica un ajuste adaptativo de los parámetros del proyector y del LLM, junto con un experto visual dinámico y un experto en lenguaje, respectivamente. Estos expertos se derivan de HyperNetworks, que genera cambios de parámetros adaptativos mediante guía visual y de lenguaje, permitiendo un modelado dinámico del proyector y del LLM en un entrenamiento en dos etapas. Nuestros experimentos demuestran que nuestra solución supera significativamente a LLaVA en los puntos de referencia existentes de MLLM, incluyendo MME, MMBench, SEED-Bench y LLaVA-Bench. ~Nuestro proyecto está disponible en el enlace https://github.com/DCDmllm/HyperLLaVA.

English

Recent advancements indicate that scaling up Multimodal Large Language Models (MLLMs) effectively enhances performance on downstream multimodal tasks. The prevailing MLLM paradigm, e.g., LLaVA, transforms visual features into text-like tokens using a static vision-language mapper, thereby enabling static LLMs to develop the capability to comprehend visual information through visual instruction tuning. Although promising, the static tuning strategy~The static tuning refers to the trained model with static parameters. that shares the same parameters may constrain performance across different downstream multimodal tasks. In light of this, we introduce HyperLLaVA, which involves adaptive tuning of the projector and LLM parameters, in conjunction with a dynamic visual expert and language expert, respectively. These experts are derived from HyperNetworks, which generates adaptive parameter shifts through visual and language guidance, enabling dynamic projector and LLM modeling in two-stage training. Our experiments demonstrate that our solution significantly surpasses LLaVA on existing MLLM benchmarks, including MME, MMBench, SEED-Bench, and LLaVA-Bench. ~Our project is available on the link https://github.com/DCDmllm/HyperLLaVA.