HyperLLaVA: Динамическая настройка визуальных и языковых экспертов для мультимодальных крупномасштабных языковых моделей

HyperLLaVA: Dynamic Visual and Language Expert Tuning for Multimodal Large Language Models

March 20, 2024

Авторы: Wenqiao Zhang, Tianwei Lin, Jiang Liu, Fangxun Shu, Haoyuan Li, Lei Zhang, He Wanggui, Hao Zhou, Zheqi Lv, Hao Jiang, Juncheng Li, Siliang Tang, Yueting Zhuang

cs.AI

Аннотация

Недавние достижения указывают на то, что увеличение масштаба Мультимодальных Больших Языковых Моделей (MLLMs) эффективно повышает производительность на последующих мультимодальных задачах. Преобладающая парадигма MLLM, например, LLaVA, преобразует визуальные признаки в токены, похожие на текст, с помощью статического маппера визуального языка, тем самым позволяя статическим LLMs развивать способность понимать визуальную информацию через настройку визуальных инструкций. Хотя это обнадеживающе, стратегия статической настройки, которая подразумевает общие параметры, может ограничивать производительность на различных последующих мультимодальных задачах. Учитывая это, мы представляем HyperLLaVA, который включает адаптивную настройку проектора и параметров LLM, в сочетании с динамическим визуальным экспертом и языковым экспертом соответственно. Эти эксперты происходят из HyperNetworks, которые генерируют адаптивные сдвиги параметров через визуальное и языковое руководство, обеспечивая динамическое моделирование проектора и LLM на двухэтапном обучении. Наши эксперименты показывают, что наше решение значительно превосходит LLaVA на существующих бенчмарках MLLM, включая MME, MMBench, SEED-Bench и LLaVA-Bench. Наш проект доступен по ссылке https://github.com/DCDmllm/HyperLLaVA.

English

Recent advancements indicate that scaling up Multimodal Large Language Models (MLLMs) effectively enhances performance on downstream multimodal tasks. The prevailing MLLM paradigm, e.g., LLaVA, transforms visual features into text-like tokens using a static vision-language mapper, thereby enabling static LLMs to develop the capability to comprehend visual information through visual instruction tuning. Although promising, the static tuning strategy~The static tuning refers to the trained model with static parameters. that shares the same parameters may constrain performance across different downstream multimodal tasks. In light of this, we introduce HyperLLaVA, which involves adaptive tuning of the projector and LLM parameters, in conjunction with a dynamic visual expert and language expert, respectively. These experts are derived from HyperNetworks, which generates adaptive parameter shifts through visual and language guidance, enabling dynamic projector and LLM modeling in two-stage training. Our experiments demonstrate that our solution significantly surpasses LLaVA on existing MLLM benchmarks, including MME, MMBench, SEED-Bench, and LLaVA-Bench. ~Our project is available on the link https://github.com/DCDmllm/HyperLLaVA.