HyperLLaVA: Ottimizzazione Dinamica degli Esperti Visivi e Linguistici per Modelli Linguistici Multimodali di Grande Scala

HyperLLaVA: Dynamic Visual and Language Expert Tuning for Multimodal Large Language Models

March 20, 2024

Autori: Wenqiao Zhang, Tianwei Lin, Jiang Liu, Fangxun Shu, Haoyuan Li, Lei Zhang, He Wanggui, Hao Zhou, Zheqi Lv, Hao Jiang, Juncheng Li, Siliang Tang, Yueting Zhuang

cs.AI

Abstract

I recenti progressi indicano che il ridimensionamento dei Modelli Linguistici Multimodali di Grande Scala (MLLM) migliora efficacemente le prestazioni su compiti multimodali downstream. Il paradigma MLLM prevalente, ad esempio LLaVA, trasforma le caratteristiche visive in token simili a testo utilizzando un mapper visione-linguaggio statico, consentendo così ai modelli linguistici statici di sviluppare la capacità di comprendere informazioni visive attraverso l'ottimizzazione tramite istruzioni visive. Sebbene promettente, la strategia di ottimizzazione statica~L'ottimizzazione statica si riferisce al modello addestrato con parametri statici. che condivide gli stessi parametri potrebbe limitare le prestazioni su diversi compiti multimodali downstream. Alla luce di ciò, introduciamo HyperLLaVA, che prevede l'ottimizzazione adattativa dei parametri del proiettore e del modello linguistico, in combinazione con un esperto visivo dinamico e un esperto linguistico, rispettivamente. Questi esperti sono derivati da HyperNetworks, che generano spostamenti di parametri adattativi attraverso la guida visiva e linguistica, consentendo una modellizzazione dinamica del proiettore e del modello linguistico in un addestramento a due fasi. I nostri esperimenti dimostrano che la nostra soluzione supera significativamente LLaVA sui benchmark MLLM esistenti, inclusi MME, MMBench, SEED-Bench e LLaVA-Bench. ~Il nostro progetto è disponibile al link https://github.com/DCDmllm/HyperLLaVA.

English

Recent advancements indicate that scaling up Multimodal Large Language Models (MLLMs) effectively enhances performance on downstream multimodal tasks. The prevailing MLLM paradigm, e.g., LLaVA, transforms visual features into text-like tokens using a static vision-language mapper, thereby enabling static LLMs to develop the capability to comprehend visual information through visual instruction tuning. Although promising, the static tuning strategy~The static tuning refers to the trained model with static parameters. that shares the same parameters may constrain performance across different downstream multimodal tasks. In light of this, we introduce HyperLLaVA, which involves adaptive tuning of the projector and LLM parameters, in conjunction with a dynamic visual expert and language expert, respectively. These experts are derived from HyperNetworks, which generates adaptive parameter shifts through visual and language guidance, enabling dynamic projector and LLM modeling in two-stage training. Our experiments demonstrate that our solution significantly surpasses LLaVA on existing MLLM benchmarks, including MME, MMBench, SEED-Bench, and LLaVA-Bench. ~Our project is available on the link https://github.com/DCDmllm/HyperLLaVA.