Math-LLaVA : Amélioration du Raisonnement Mathématique pour les Grands Modèles de Langage Multimodaux

Math-LLaVA: Bootstrapping Mathematical Reasoning for Multimodal Large Language Models

June 25, 2024

Auteurs: Wenhao Shi, Zhiqiang Hu, Yi Bin, Junhua Liu, Yang Yang, See-Kiong Ng, Lidong Bing, Roy Ka-Wei Lee

cs.AI

Résumé

Les grands modèles de langage (LLMs) ont démontré des capacités de raisonnement impressionnantes, notamment dans la résolution de problèmes mathématiques textuels. Cependant, les ensembles de données existants pour le réglage fin d'instructions visuelles en open source, contenant un nombre limité de paires question-réponse par image, n'exploitent pas pleinement les informations visuelles pour améliorer les capacités de raisonnement mathématique multimodal des LLMs multimodaux (MLLMs). Pour combler cette lacune, nous abordons le manque de jeux de données mathématiques multimodaux de haute qualité et diversifiés en collectant 40 000 images de haute qualité avec des paires question-réponse provenant de 24 ensembles de données existants et en synthétisant 320 000 nouvelles paires, créant ainsi le jeu de données MathV360K, qui améliore à la fois l'étendue et la profondeur des questions mathématiques multimodales. Nous présentons Math-LLaVA, un modèle basé sur LLaVA-1.5 et réglé finement avec MathV360K. Cette approche novatrice améliore significativement les capacités de raisonnement mathématique multimodal de LLaVA-1.5, obtenant une augmentation de 19 points et une performance comparable à GPT-4V sur la division minitest de MathVista. De plus, Math-LLaVA démontre une généralisabilité accrue, montrant des améliorations substantielles sur le benchmark MMMU. Notre recherche met en lumière l'importance de la diversité et de la synthèse des jeux de données pour faire progresser les capacités de raisonnement mathématique des MLLMs. Le code et les données sont disponibles à l'adresse suivante : https://github.com/HZQ950419/Math-LLaVA.

English

Large language models (LLMs) have demonstrated impressive reasoning capabilities, particularly in textual mathematical problem-solving. However, existing open-source image instruction fine-tuning datasets, containing limited question-answer pairs per image, do not fully exploit visual information to enhance the multimodal mathematical reasoning capabilities of Multimodal LLMs (MLLMs). To bridge this gap, we address the lack of high-quality, diverse multimodal mathematical datasets by collecting 40K high-quality images with question-answer pairs from 24 existing datasets and synthesizing 320K new pairs, creating the MathV360K dataset, which enhances both the breadth and depth of multimodal mathematical questions. We introduce Math-LLaVA, a LLaVA-1.5-based model fine-tuned with MathV360K. This novel approach significantly improves the multimodal mathematical reasoning capabilities of LLaVA-1.5, achieving a 19-point increase and comparable performance to GPT-4V on MathVista's minitest split. Furthermore, Math-LLaVA demonstrates enhanced generalizability, showing substantial improvements on the MMMU benchmark. Our research highlights the importance of dataset diversity and synthesis in advancing MLLMs' mathematical reasoning abilities. The code and data are available at: https://github.com/HZQ950419/Math-LLaVA.