Декомпозиция визуального вопроса на мультимодальных крупных языковых моделях

Visual Question Decomposition on Multimodal Large Language Models

September 28, 2024

Авторы: Haowei Zhang, Jianzhe Liu, Zhen Han, Shuo Chen, Bailan He, Volker Tresp, Zhiqiang Xu, Jindong Gu

cs.AI

Аннотация

Декомпозиция вопросов стала эффективной стратегией для стимулирования больших языковых моделей (LLM) при ответе на сложные вопросы. Однако существующие методы в основном сосредотачиваются на унимодальных языковых моделях, и способность к декомпозиции вопросов в мультимодальных больших языковых моделях (MLLM) еще не исследовалась. В данной работе исследуется визуальная декомпозиция вопросов в MLLM. В частности, мы представляем систематическую оценочную схему, включающую набор данных и несколько критериев оценки для оценки качества декомпозированных подвопросов, выявляя, что существующие MLLM испытывают трудности с производством высококачественных подвопросов. Для преодоления этого ограничения мы предлагаем конкретный набор данных для донастройки, DecoVQA+, для улучшения способности модели к декомпозиции вопросов. С целью обеспечения моделям возможности выполнять соответствующую селективную декомпозицию, мы предлагаем эффективный процесс донастройки. Процесс донастройки включает наш предложенный набор данных и целевую функцию обучения для селективной декомпозиции. Донастроенные MLLM демонстрируют значительное улучшение качества подвопросов и стратегии селективной декомпозиции вопросов. Кроме того, модели также достигают более высокой точности при селективной декомпозиции на базовых наборах данных VQA.

English

Question decomposition has emerged as an effective strategy for prompting Large Language Models (LLMs) to answer complex questions. However, while existing methods primarily focus on unimodal language models, the question decomposition capability of Multimodal Large Language Models (MLLMs) has yet to be explored. To this end, this paper explores visual question decomposition on MLLMs. Specifically, we introduce a systematic evaluation framework including a dataset and several evaluation criteria to assess the quality of the decomposed sub-questions, revealing that existing MLLMs struggle to produce high-quality sub-questions. To address this limitation, we propose a specific finetuning dataset, DecoVQA+, for enhancing the model's question decomposition capability. Aiming at enabling models to perform appropriate selective decomposition, we propose an efficient finetuning pipeline. The finetuning pipeline consists of our proposed dataset and a training objective for selective decomposition. Finetuned MLLMs demonstrate significant improvements in the quality of sub-questions and the policy of selective question decomposition. Additionally, the models also achieve higher accuracy with selective decomposition on VQA benchmark datasets.