HyperLLaVA: Dynamische visuelle und sprachliche Expertenanpassung für multimodale große Sprachmodelle

HyperLLaVA: Dynamic Visual and Language Expert Tuning for Multimodal Large Language Models

March 20, 2024

Autoren: Wenqiao Zhang, Tianwei Lin, Jiang Liu, Fangxun Shu, Haoyuan Li, Lei Zhang, He Wanggui, Hao Zhou, Zheqi Lv, Hao Jiang, Juncheng Li, Siliang Tang, Yueting Zhuang

cs.AI

Zusammenfassung

Aktuelle Fortschritte deuten darauf hin, dass die Skalierung von Multimodalen Großen Sprachmodellen (MLLMs) die Leistung bei nachgelagerten multimodalen Aufgaben effektiv verbessert. Das vorherrschende MLLM-Paradigma, z.B. LLaVA, wandelt visuelle Merkmale mithilfe eines statischen Vision-Sprach-Mappers in textähnliche Tokens um, wodurch statischen LLMs ermöglicht wird, die Fähigkeit zur Erfassung visueller Informationen durch visuelle Anleitungstuning zu entwickeln. Obwohl vielversprechend, könnte die statische Tuning-Strategie - statisches Tuning bezieht sich auf das trainierte Modell mit statischen Parametern - die Leistung bei verschiedenen nachgelagerten multimodalen Aufgaben einschränken. Vor diesem Hintergrund stellen wir HyperLLaVA vor, das ein adaptives Tuning des Projektors und der LLM-Parameter in Verbindung mit einem dynamischen visuellen Experten und Sprachexperten beinhaltet. Diese Experten stammen aus Hypernetzwerken, die adaptive Parameteränderungen durch visuelle und sprachliche Anleitung generieren und dynamische Projektoren und LLM-Modellierung in einem zweistufigen Training ermöglichen. Unsere Experimente zeigen, dass unsere Lösung die Leistung von LLaVA bei bestehenden MLLM-Benchmarks, einschließlich MME, MMBench, SEED-Bench und LLaVA-Bench, signifikant übertrifft. Unser Projekt ist unter folgendem Link verfügbar: https://github.com/DCDmllm/HyperLLaVA.

English

Recent advancements indicate that scaling up Multimodal Large Language Models (MLLMs) effectively enhances performance on downstream multimodal tasks. The prevailing MLLM paradigm, e.g., LLaVA, transforms visual features into text-like tokens using a static vision-language mapper, thereby enabling static LLMs to develop the capability to comprehend visual information through visual instruction tuning. Although promising, the static tuning strategy~The static tuning refers to the trained model with static parameters. that shares the same parameters may constrain performance across different downstream multimodal tasks. In light of this, we introduce HyperLLaVA, which involves adaptive tuning of the projector and LLM parameters, in conjunction with a dynamic visual expert and language expert, respectively. These experts are derived from HyperNetworks, which generates adaptive parameter shifts through visual and language guidance, enabling dynamic projector and LLM modeling in two-stage training. Our experiments demonstrate that our solution significantly surpasses LLaVA on existing MLLM benchmarks, including MME, MMBench, SEED-Bench, and LLaVA-Bench. ~Our project is available on the link https://github.com/DCDmllm/HyperLLaVA.