HyperLLaVA: Ajuste Dinâmico de Especialistas Visuais e Linguísticos para Modelos de Linguagem Multimodais de Grande Escala
HyperLLaVA: Dynamic Visual and Language Expert Tuning for Multimodal Large Language Models
March 20, 2024
Autores: Wenqiao Zhang, Tianwei Lin, Jiang Liu, Fangxun Shu, Haoyuan Li, Lei Zhang, He Wanggui, Hao Zhou, Zheqi Lv, Hao Jiang, Juncheng Li, Siliang Tang, Yueting Zhuang
cs.AI
Resumo
Avanços recentes indicam que a ampliação de Modelos de Linguagem Multimodais de Grande Escala (MLLMs) melhora efetivamente o desempenho em tarefas multimodais subsequentes. O paradigma predominante de MLLMs, por exemplo, o LLaVA, transforma características visuais em tokens semelhantes a texto usando um mapeador visão-linguagem estático, permitindo assim que LLMs estáticos desenvolvam a capacidade de compreender informações visuais por meio de ajuste por instrução visual. Embora promissora, a estratégia de ajuste estático~O ajuste estático refere-se ao modelo treinado com parâmetros estáticos. que compartilha os mesmos parâmetros pode limitar o desempenho em diferentes tarefas multimodais subsequentes. Diante disso, apresentamos o HyperLLaVA, que envolve o ajuste adaptativo dos parâmetros do projetor e do LLM, em conjunto com um especialista visual dinâmico e um especialista em linguagem, respectivamente. Esses especialistas são derivados de HyperNetworks, que geram mudanças de parâmetros adaptativas por meio de orientação visual e de linguagem, permitindo a modelagem dinâmica do projetor e do LLM em treinamento em duas etapas.
Nossos experimentos demonstram que nossa solução supera significativamente o LLaVA em benchmarks existentes de MLLMs, incluindo MME, MMBench, SEED-Bench e LLaVA-Bench. ~Nosso projeto está disponível no link https://github.com/DCDmllm/HyperLLaVA.
English
Recent advancements indicate that scaling up Multimodal Large Language Models
(MLLMs) effectively enhances performance on downstream multimodal tasks. The
prevailing MLLM paradigm, e.g., LLaVA, transforms visual features into
text-like tokens using a static vision-language mapper, thereby enabling
static LLMs to develop the capability to comprehend visual information
through visual instruction tuning. Although promising, the static tuning
strategy~The static tuning refers to the trained model with static
parameters. that shares the same parameters may constrain performance across
different downstream multimodal tasks. In light of this, we introduce
HyperLLaVA, which involves adaptive tuning of the projector and LLM parameters,
in conjunction with a dynamic visual expert and language expert, respectively.
These experts are derived from HyperNetworks, which generates adaptive
parameter shifts through visual and language guidance, enabling dynamic
projector and LLM modeling in two-stage training.
Our experiments demonstrate that our solution significantly surpasses LLaVA
on existing MLLM benchmarks, including MME, MMBench, SEED-Bench, and
LLaVA-Bench. ~Our project is available on the link
https://github.com/DCDmllm/HyperLLaVA.