Decomposizione delle domande visive sui modelli di linguaggio multimodali di grandi dimensioni

Visual Question Decomposition on Multimodal Large Language Models

September 28, 2024

Autori: Haowei Zhang, Jianzhe Liu, Zhen Han, Shuo Chen, Bailan He, Volker Tresp, Zhiqiang Xu, Jindong Gu

cs.AI

Abstract

La decomposizione delle domande è emersa come una strategia efficace per sollecitare i Grandi Modelli Linguistici (LLM) a rispondere a domande complesse. Tuttavia, mentre i metodi esistenti si concentrano principalmente sui modelli linguistici unimodali, la capacità di decomposizione delle domande dei Modelli Linguistici Multimodali (MLLM) deve ancora essere esplorata. A questo scopo, questo articolo esplora la decomposizione visuale delle domande sui MLLM. In particolare, introduciamo un quadro di valutazione sistematico che include un insieme di dati e diversi criteri di valutazione per valutare la qualità delle sotto-domande decomposte, rivelando che i MLLM esistenti faticano a produrre sotto-domande di alta qualità. Per affrontare questa limitazione, proponiamo un insieme di dati specifico per il raffinamento, DecoVQA+, per potenziare la capacità di decomposizione delle domande del modello. Con l'obiettivo di consentire ai modelli di eseguire una decomposizione selettiva appropriata, proponiamo un efficiente processo di raffinamento. Il processo di raffinamento consiste nel nostro insieme di dati proposto e in un obiettivo di addestramento per la decomposizione selettiva. I MLLM raffinati dimostrano miglioramenti significativi nella qualità delle sotto-domande e nella politica di decomposizione selettiva delle domande. Inoltre, i modelli raggiungono anche una maggiore precisione con la decomposizione selettiva su insiemi di dati di benchmark VQA.

English

Question decomposition has emerged as an effective strategy for prompting Large Language Models (LLMs) to answer complex questions. However, while existing methods primarily focus on unimodal language models, the question decomposition capability of Multimodal Large Language Models (MLLMs) has yet to be explored. To this end, this paper explores visual question decomposition on MLLMs. Specifically, we introduce a systematic evaluation framework including a dataset and several evaluation criteria to assess the quality of the decomposed sub-questions, revealing that existing MLLMs struggle to produce high-quality sub-questions. To address this limitation, we propose a specific finetuning dataset, DecoVQA+, for enhancing the model's question decomposition capability. Aiming at enabling models to perform appropriate selective decomposition, we propose an efficient finetuning pipeline. The finetuning pipeline consists of our proposed dataset and a training objective for selective decomposition. Finetuned MLLMs demonstrate significant improvements in the quality of sub-questions and the policy of selective question decomposition. Additionally, the models also achieve higher accuracy with selective decomposition on VQA benchmark datasets.