Math-LLaVA: Het Bootstrappen van Wiskundig Redeneren voor Multimodale Grote Taalmodellen

Math-LLaVA: Bootstrapping Mathematical Reasoning for Multimodal Large Language Models

June 25, 2024

Auteurs: Wenhao Shi, Zhiqiang Hu, Yi Bin, Junhua Liu, Yang Yang, See-Kiong Ng, Lidong Bing, Roy Ka-Wei Lee

cs.AI

Samenvatting

Grote taalmodellen (LLMs) hebben indrukwekkende redeneervaardigheden getoond, met name bij het oplossen van tekstuele wiskundige problemen. Bestaande open-source datasets voor fine-tuning van beeldinstructies, die beperkte vraag-antwoordparen per afbeelding bevatten, benutten visuele informatie echter niet volledig om de multimodale wiskundige redeneervaardigheden van Multimodale LLMs (MLLMs) te verbeteren. Om deze kloof te overbruggen, pakken we het gebrek aan hoogwaardige, diverse multimodale wiskundige datasets aan door 40K hoogwaardige afbeeldingen met vraag-antwoordparen te verzamelen uit 24 bestaande datasets en 320K nieuwe paren te synthetiseren, waardoor de MathV360K dataset wordt gecreëerd, die zowel de breedte als de diepte van multimodale wiskundige vragen vergroot. We introduceren Math-LLaVA, een op LLaVA-1.5 gebaseerd model dat is afgestemd met MathV360K. Deze nieuwe aanpak verbetert de multimodale wiskundige redeneervaardigheden van LLaVA-1.5 aanzienlijk, met een stijging van 19 punten en vergelijkbare prestaties als GPT-4V op de minitest-splitsing van MathVista. Bovendien toont Math-LLaVA een verbeterde generaliseerbaarheid, met aanzienlijke verbeteringen op de MMMU-benchmark. Ons onderzoek benadrukt het belang van datasetdiversiteit en -synthese bij het bevorderen van de wiskundige redeneervaardigheden van MLLMs. De code en data zijn beschikbaar op: https://github.com/HZQ950419/Math-LLaVA.

English

Large language models (LLMs) have demonstrated impressive reasoning capabilities, particularly in textual mathematical problem-solving. However, existing open-source image instruction fine-tuning datasets, containing limited question-answer pairs per image, do not fully exploit visual information to enhance the multimodal mathematical reasoning capabilities of Multimodal LLMs (MLLMs). To bridge this gap, we address the lack of high-quality, diverse multimodal mathematical datasets by collecting 40K high-quality images with question-answer pairs from 24 existing datasets and synthesizing 320K new pairs, creating the MathV360K dataset, which enhances both the breadth and depth of multimodal mathematical questions. We introduce Math-LLaVA, a LLaVA-1.5-based model fine-tuned with MathV360K. This novel approach significantly improves the multimodal mathematical reasoning capabilities of LLaVA-1.5, achieving a 19-point increase and comparable performance to GPT-4V on MathVista's minitest split. Furthermore, Math-LLaVA demonstrates enhanced generalizability, showing substantial improvements on the MMMU benchmark. Our research highlights the importance of dataset diversity and synthesis in advancing MLLMs' mathematical reasoning abilities. The code and data are available at: https://github.com/HZQ950419/Math-LLaVA.