Math-LLaVA: Bootstrapping mathematische Argumentation für multimodale große Sprachmodelle

Math-LLaVA: Bootstrapping Mathematical Reasoning for Multimodal Large Language Models

June 25, 2024

Autoren: Wenhao Shi, Zhiqiang Hu, Yi Bin, Junhua Liu, Yang Yang, See-Kiong Ng, Lidong Bing, Roy Ka-Wei Lee

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) haben beeindruckende Argumentationsfähigkeiten gezeigt, insbesondere bei der textuellen mathematischen Problemlösung. Allerdings nutzen bestehende Open-Source-Bildanweisungsfeinabstimmungsdatensätze, die nur begrenzte Frage-Antwort-Paare pro Bild enthalten, die visuellen Informationen nicht vollständig aus, um die multimodalen mathematischen Argumentationsfähigkeiten von Multimodalen LLMs (MLLMs) zu verbessern. Um diese Lücke zu schließen, beheben wir den Mangel an hochwertigen, vielfältigen multimodalen mathematischen Datensätzen, indem wir 40.000 hochwertige Bilder mit Frage-Antwort-Paaren aus 24 bestehenden Datensätzen sammeln und 320.000 neue Paare synthetisieren, um den MathV360K-Datensatz zu erstellen, der sowohl die Breite als auch die Tiefe multimodaler mathematischer Fragen verbessert. Wir stellen Math-LLaVA vor, ein auf LLaVA-1.5 basierendes Modell, das mit MathV360K feinabgestimmt wurde. Dieser neuartige Ansatz verbessert signifikant die multimodalen mathematischen Argumentationsfähigkeiten von LLaVA-1.5 und erzielt eine 19-Punkte-Steigerung sowie vergleichbare Leistungen wie GPT-4V auf MathVistas Minitest-Split. Darüber hinaus zeigt Math-LLaVA eine verbesserte Generalisierbarkeit und erzielt erhebliche Verbesserungen im MMMU-Benchmark. Unsere Forschung unterstreicht die Bedeutung von Datensatzvielfalt und -synthese bei der Weiterentwicklung der mathematischen Argumentationsfähigkeiten von MLLMs. Der Code und die Daten sind verfügbar unter: https://github.com/HZQ950419/Math-LLaVA.

English

Large language models (LLMs) have demonstrated impressive reasoning capabilities, particularly in textual mathematical problem-solving. However, existing open-source image instruction fine-tuning datasets, containing limited question-answer pairs per image, do not fully exploit visual information to enhance the multimodal mathematical reasoning capabilities of Multimodal LLMs (MLLMs). To bridge this gap, we address the lack of high-quality, diverse multimodal mathematical datasets by collecting 40K high-quality images with question-answer pairs from 24 existing datasets and synthesizing 320K new pairs, creating the MathV360K dataset, which enhances both the breadth and depth of multimodal mathematical questions. We introduce Math-LLaVA, a LLaVA-1.5-based model fine-tuned with MathV360K. This novel approach significantly improves the multimodal mathematical reasoning capabilities of LLaVA-1.5, achieving a 19-point increase and comparable performance to GPT-4V on MathVista's minitest split. Furthermore, Math-LLaVA demonstrates enhanced generalizability, showing substantial improvements on the MMMU benchmark. Our research highlights the importance of dataset diversity and synthesis in advancing MLLMs' mathematical reasoning abilities. The code and data are available at: https://github.com/HZQ950419/Math-LLaVA.