Math-LLaVA: Avvio del Ragionamento Matematico per Modelli Linguistici Multimodali di Grande Scala

Math-LLaVA: Bootstrapping Mathematical Reasoning for Multimodal Large Language Models

June 25, 2024

Autori: Wenhao Shi, Zhiqiang Hu, Yi Bin, Junhua Liu, Yang Yang, See-Kiong Ng, Lidong Bing, Roy Ka-Wei Lee

cs.AI

Abstract

I modelli linguistici di grandi dimensioni (LLM) hanno dimostrato impressionanti capacità di ragionamento, in particolare nella risoluzione di problemi matematici testuali. Tuttavia, i dataset esistenti di fine-tuning per istruzioni basate su immagini open-source, che contengono un numero limitato di coppie domanda-risposta per immagine, non sfruttano appieno le informazioni visive per migliorare le capacità di ragionamento matematico multimodale dei Multimodal LLM (MLLM). Per colmare questa lacuna, affrontiamo la mancanza di dataset matematici multimodali di alta qualità e diversificati raccogliendo 40K immagini di alta qualità con coppie domanda-risposta da 24 dataset esistenti e sintetizzando 320K nuove coppie, creando il dataset MathV360K, che migliora sia l'ampiezza che la profondità delle domande matematiche multimodali. Introduciamo Math-LLaVA, un modello basato su LLaVA-1.5 fine-tuned con MathV360K. Questo approccio innovativo migliora significativamente le capacità di ragionamento matematico multimodale di LLaVA-1.5, ottenendo un aumento di 19 punti e prestazioni comparabili a GPT-4V sul minitest split di MathVista. Inoltre, Math-LLaVA dimostra una maggiore generalizzabilità, mostrando miglioramenti sostanziali sul benchmark MMMU. La nostra ricerca evidenzia l'importanza della diversità e della sintesi dei dataset nel migliorare le capacità di ragionamento matematico degli MLLM. Il codice e i dati sono disponibili al seguente indirizzo: https://github.com/HZQ950419/Math-LLaVA.

English

Large language models (LLMs) have demonstrated impressive reasoning capabilities, particularly in textual mathematical problem-solving. However, existing open-source image instruction fine-tuning datasets, containing limited question-answer pairs per image, do not fully exploit visual information to enhance the multimodal mathematical reasoning capabilities of Multimodal LLMs (MLLMs). To bridge this gap, we address the lack of high-quality, diverse multimodal mathematical datasets by collecting 40K high-quality images with question-answer pairs from 24 existing datasets and synthesizing 320K new pairs, creating the MathV360K dataset, which enhances both the breadth and depth of multimodal mathematical questions. We introduce Math-LLaVA, a LLaVA-1.5-based model fine-tuned with MathV360K. This novel approach significantly improves the multimodal mathematical reasoning capabilities of LLaVA-1.5, achieving a 19-point increase and comparable performance to GPT-4V on MathVista's minitest split. Furthermore, Math-LLaVA demonstrates enhanced generalizability, showing substantial improvements on the MMMU benchmark. Our research highlights the importance of dataset diversity and synthesis in advancing MLLMs' mathematical reasoning abilities. The code and data are available at: https://github.com/HZQ950419/Math-LLaVA.