HyperLLaVA: Dynamische afstemming van visuele en taalkundige expertise voor multimodale grote taalmodellen

HyperLLaVA: Dynamic Visual and Language Expert Tuning for Multimodal Large Language Models

March 20, 2024

Auteurs: Wenqiao Zhang, Tianwei Lin, Jiang Liu, Fangxun Shu, Haoyuan Li, Lei Zhang, He Wanggui, Hao Zhou, Zheqi Lv, Hao Jiang, Juncheng Li, Siliang Tang, Yueting Zhuang

cs.AI

Samenvatting

Recente ontwikkelingen tonen aan dat het opschalen van Multimodale Grote Taalmodellen (MLLMs) de prestaties op downstream multimodale taken effectief verbetert. Het heersende MLLM-paradigma, zoals LLaVA, zet visuele kenmerken om in tekstachtige tokens met behulp van een statische visie-taal-mapper, waardoor statische LLMs de mogelijkheid ontwikkelen om visuele informatie te begrijpen via visuele instructieafstemming. Hoewel veelbelovend, kan de statische afstemmingsstrategie~De statische afstemming verwijst naar het getrainde model met statische parameters. die dezelfde parameters deelt, de prestaties over verschillende downstream multimodale taken beperken. Met dit in gedachten introduceren we HyperLLaVA, waarbij adaptieve afstemming van de projectie- en LLM-parameters plaatsvindt, in combinatie met respectievelijk een dynamische visuele expert en een taalexpert. Deze experts zijn afgeleid van HyperNetworks, die adaptieve parametershifts genereren via visuele en taalgeleiding, waardoor dynamische projectie- en LLM-modellering mogelijk wordt in tweefasige training. Onze experimenten tonen aan dat onze oplossing LLaVA aanzienlijk overtreft op bestaande MLLM-benchmarks, waaronder MME, MMBench, SEED-Bench en LLaVA-Bench. ~Ons project is beschikbaar op de link https://github.com/DCDmllm/HyperLLaVA.

English

Recent advancements indicate that scaling up Multimodal Large Language Models (MLLMs) effectively enhances performance on downstream multimodal tasks. The prevailing MLLM paradigm, e.g., LLaVA, transforms visual features into text-like tokens using a static vision-language mapper, thereby enabling static LLMs to develop the capability to comprehend visual information through visual instruction tuning. Although promising, the static tuning strategy~The static tuning refers to the trained model with static parameters. that shares the same parameters may constrain performance across different downstream multimodal tasks. In light of this, we introduce HyperLLaVA, which involves adaptive tuning of the projector and LLM parameters, in conjunction with a dynamic visual expert and language expert, respectively. These experts are derived from HyperNetworks, which generates adaptive parameter shifts through visual and language guidance, enabling dynamic projector and LLM modeling in two-stage training. Our experiments demonstrate that our solution significantly surpasses LLaVA on existing MLLM benchmarks, including MME, MMBench, SEED-Bench, and LLaVA-Bench. ~Our project is available on the link https://github.com/DCDmllm/HyperLLaVA.