Descomposición de Preguntas Visuales en Modelos de Lenguaje Multimodales de Gran Escala

Visual Question Decomposition on Multimodal Large Language Models

September 28, 2024

Autores: Haowei Zhang, Jianzhe Liu, Zhen Han, Shuo Chen, Bailan He, Volker Tresp, Zhiqiang Xu, Jindong Gu

cs.AI

Resumen

La descomposición de preguntas ha surgido como una estrategia efectiva para incitar a los Modelos de Lenguaje de Gran Escala (LLMs) a responder preguntas complejas. Sin embargo, mientras que los métodos existentes se centran principalmente en modelos de lenguaje unimodales, la capacidad de descomposición de preguntas de los Modelos de Lenguaje de Gran Escala Multimodales (MLLMs) aún no ha sido explorada. Con este fin, este documento explora la descomposición visual de preguntas en MLLMs. Específicamente, presentamos un marco de evaluación sistemático que incluye un conjunto de datos y varios criterios de evaluación para evaluar la calidad de las subpreguntas descompuestas, revelando que los MLLMs existentes tienen dificultades para producir subpreguntas de alta calidad. Para abordar esta limitación, proponemos un conjunto de datos específico para el ajuste fino, DecoVQA+, para mejorar la capacidad de descomposición de preguntas del modelo. Con el objetivo de permitir que los modelos realicen una descomposición selectiva apropiada, proponemos un eficiente proceso de ajuste fino. El proceso de ajuste fino consta de nuestro conjunto de datos propuesto y un objetivo de entrenamiento para la descomposición selectiva. Los MLLMs ajustados muestran mejoras significativas en la calidad de las subpreguntas y en la política de descomposición selectiva de preguntas. Además, los modelos también logran una mayor precisión con la descomposición selectiva en conjuntos de datos de referencia de VQA.

English

Question decomposition has emerged as an effective strategy for prompting Large Language Models (LLMs) to answer complex questions. However, while existing methods primarily focus on unimodal language models, the question decomposition capability of Multimodal Large Language Models (MLLMs) has yet to be explored. To this end, this paper explores visual question decomposition on MLLMs. Specifically, we introduce a systematic evaluation framework including a dataset and several evaluation criteria to assess the quality of the decomposed sub-questions, revealing that existing MLLMs struggle to produce high-quality sub-questions. To address this limitation, we propose a specific finetuning dataset, DecoVQA+, for enhancing the model's question decomposition capability. Aiming at enabling models to perform appropriate selective decomposition, we propose an efficient finetuning pipeline. The finetuning pipeline consists of our proposed dataset and a training objective for selective decomposition. Finetuned MLLMs demonstrate significant improvements in the quality of sub-questions and the policy of selective question decomposition. Additionally, the models also achieve higher accuracy with selective decomposition on VQA benchmark datasets.