Visuelle Fragezerlegung auf multimodalen großen Sprachmodellen

Visual Question Decomposition on Multimodal Large Language Models

September 28, 2024

Autoren: Haowei Zhang, Jianzhe Liu, Zhen Han, Shuo Chen, Bailan He, Volker Tresp, Zhiqiang Xu, Jindong Gu

cs.AI

Zusammenfassung

Die Fragezerlegung hat sich als eine effektive Strategie zur Aufforderung von Large Language Models (LLMs) herausgestellt, um komplexe Fragen zu beantworten. Allerdings konzentrieren sich bestehende Methoden hauptsächlich auf unimodale Sprachmodelle, während die Fragezerlegungsfähigkeit von Multimodal Large Language Models (MLLMs) noch nicht erforscht wurde. Zu diesem Zweck untersucht diese Arbeit die visuelle Fragezerlegung bei MLLMs. Konkret stellen wir einen systematischen Bewertungsrahmen vor, der ein Datenset und mehrere Bewertungskriterien umfasst, um die Qualität der zerlegten Teilfragen zu bewerten. Dabei wird deutlich, dass bestehende MLLMs Schwierigkeiten haben, hochwertige Teilfragen zu erzeugen. Um diese Einschränkung zu beheben, schlagen wir ein spezifisches Feinabstimmungsdatenset, DecoVQA+, zur Verbesserung der Fragezerlegungsfähigkeit des Modells vor. Mit dem Ziel, Modelle zur Durchführung einer angemessenen selektiven Zerlegung zu befähigen, schlagen wir eine effiziente Feinabstimmungspipeline vor. Die Feinabstimmungspipeline besteht aus unserem vorgeschlagenen Datenset und einem Trainingsziel für selektive Zerlegung. Feinabgestimmte MLLMs zeigen signifikante Verbesserungen in der Qualität der Teilfragen und der Strategie der selektiven Fragezerlegung. Darüber hinaus erzielen die Modelle auch eine höhere Genauigkeit bei selektiver Zerlegung auf VQA-Benchmark-Datensets.

English

Question decomposition has emerged as an effective strategy for prompting Large Language Models (LLMs) to answer complex questions. However, while existing methods primarily focus on unimodal language models, the question decomposition capability of Multimodal Large Language Models (MLLMs) has yet to be explored. To this end, this paper explores visual question decomposition on MLLMs. Specifically, we introduce a systematic evaluation framework including a dataset and several evaluation criteria to assess the quality of the decomposed sub-questions, revealing that existing MLLMs struggle to produce high-quality sub-questions. To address this limitation, we propose a specific finetuning dataset, DecoVQA+, for enhancing the model's question decomposition capability. Aiming at enabling models to perform appropriate selective decomposition, we propose an efficient finetuning pipeline. The finetuning pipeline consists of our proposed dataset and a training objective for selective decomposition. Finetuned MLLMs demonstrate significant improvements in the quality of sub-questions and the policy of selective question decomposition. Additionally, the models also achieve higher accuracy with selective decomposition on VQA benchmark datasets.