Visuele vraagdecompositie op multimodale grote taalmodellen

Visual Question Decomposition on Multimodal Large Language Models

September 28, 2024

Auteurs: Haowei Zhang, Jianzhe Liu, Zhen Han, Shuo Chen, Bailan He, Volker Tresp, Zhiqiang Xu, Jindong Gu

cs.AI

Samenvatting

Vraagdecompositie is naar voren gekomen als een effectieve strategie om Grote Taalmodellen (LLMs) aan te zetten om complexe vragen te beantwoorden. Echter, terwijl bestaande methoden voornamelijk gericht zijn op unimodale taalmodellen, is de vraagdecompositiemogelijkheid van Multimodale Grote Taalmodellen (MLLMs) nog niet onderzocht. Om deze reden onderzoekt dit artikel visuele vraagdecompositie op MLLMs. Specifiek introduceren we een systematisch evaluatiekader inclusief een dataset en verschillende evaluatiecriteria om de kwaliteit van de gedecomposeerde subvragen te beoordelen, waarbij blijkt dat bestaande MLLMs moeite hebben met het produceren van hoogwaardige subvragen. Om deze beperking aan te pakken, stellen we een specifieke finetuning-dataset voor, DecoVQA+, om de vraagdecompositiemogelijkheid van het model te verbeteren. Met als doel modellen in staat te stellen om passende selectieve decompositie uit te voeren, stellen we een efficiënte finetuning-pijplijn voor. De finetuning-pijplijn bestaat uit onze voorgestelde dataset en een trainingsdoel voor selectieve decompositie. Gefinetunde MLLMs tonen aanzienlijke verbeteringen in de kwaliteit van subvragen en het beleid van selectieve vraagdecompositie. Bovendien behalen de modellen ook een hogere nauwkeurigheid met selectieve decompositie op VQA benchmark datasets.

English

Question decomposition has emerged as an effective strategy for prompting Large Language Models (LLMs) to answer complex questions. However, while existing methods primarily focus on unimodal language models, the question decomposition capability of Multimodal Large Language Models (MLLMs) has yet to be explored. To this end, this paper explores visual question decomposition on MLLMs. Specifically, we introduce a systematic evaluation framework including a dataset and several evaluation criteria to assess the quality of the decomposed sub-questions, revealing that existing MLLMs struggle to produce high-quality sub-questions. To address this limitation, we propose a specific finetuning dataset, DecoVQA+, for enhancing the model's question decomposition capability. Aiming at enabling models to perform appropriate selective decomposition, we propose an efficient finetuning pipeline. The finetuning pipeline consists of our proposed dataset and a training objective for selective decomposition. Finetuned MLLMs demonstrate significant improvements in the quality of sub-questions and the policy of selective question decomposition. Additionally, the models also achieve higher accuracy with selective decomposition on VQA benchmark datasets.