HyperLLaVA : Réglage dynamique des experts visuels et linguistiques pour les modèles de langage multimodaux de grande taille

HyperLLaVA: Dynamic Visual and Language Expert Tuning for Multimodal Large Language Models

March 20, 2024

Auteurs: Wenqiao Zhang, Tianwei Lin, Jiang Liu, Fangxun Shu, Haoyuan Li, Lei Zhang, He Wanggui, Hao Zhou, Zheqi Lv, Hao Jiang, Juncheng Li, Siliang Tang, Yueting Zhuang

cs.AI

Résumé

Les avancées récentes indiquent que l'augmentation de l'échelle des Modèles de Langage Multimodaux de Grande Taille (MLLMs) améliore efficacement les performances sur les tâches multimodales en aval. Le paradigme dominant des MLLMs, par exemple LLaVA, transforme les caractéristiques visuelles en tokens de type texte à l'aide d'un mappeur vision-langage statique, permettant ainsi aux LLMs statiques de développer la capacité à comprendre les informations visuelles grâce à un réglage par instructions visuelles. Bien que prometteuse, la stratégie de réglage statique ~Le réglage statique fait référence au modèle entraîné avec des paramètres statiques. qui partage les mêmes paramètres peut limiter les performances sur différentes tâches multimodales en aval. Dans cette optique, nous introduisons HyperLLaVA, qui implique un réglage adaptatif des paramètres du projecteur et du LLM, en conjonction avec un expert visuel dynamique et un expert linguistique, respectivement. Ces experts sont dérivés de HyperNetworks, qui génère des décalages de paramètres adaptatifs grâce à des guidages visuels et linguistiques, permettant une modélisation dynamique du projecteur et du LLM dans un entraînement en deux étapes. Nos expériences démontrent que notre solution surpasse significativement LLaVA sur les benchmarks MLLM existants, notamment MME, MMBench, SEED-Bench et LLaVA-Bench. ~Notre projet est disponible sur le lien https://github.com/DCDmllm/HyperLLaVA.

English

Recent advancements indicate that scaling up Multimodal Large Language Models (MLLMs) effectively enhances performance on downstream multimodal tasks. The prevailing MLLM paradigm, e.g., LLaVA, transforms visual features into text-like tokens using a static vision-language mapper, thereby enabling static LLMs to develop the capability to comprehend visual information through visual instruction tuning. Although promising, the static tuning strategy~The static tuning refers to the trained model with static parameters. that shares the same parameters may constrain performance across different downstream multimodal tasks. In light of this, we introduce HyperLLaVA, which involves adaptive tuning of the projector and LLM parameters, in conjunction with a dynamic visual expert and language expert, respectively. These experts are derived from HyperNetworks, which generates adaptive parameter shifts through visual and language guidance, enabling dynamic projector and LLM modeling in two-stage training. Our experiments demonstrate that our solution significantly surpasses LLaVA on existing MLLM benchmarks, including MME, MMBench, SEED-Bench, and LLaVA-Bench. ~Our project is available on the link https://github.com/DCDmllm/HyperLLaVA.