MathFusion: Verbetering van Wiskundig Probleemoplossend Vermogen van LLM door Instructie Fusie

MathFusion: Enhancing Mathematic Problem-solving of LLM through Instruction Fusion

March 20, 2025

Auteurs: Qizhi Pei, Lijun Wu, Zhuoshi Pan, Yu Li, Honglin Lin, Chenlin Ming, Xin Gao, Conghui He, Rui Yan

cs.AI

Samenvatting

Grote Taalmodellen (LLM's) hebben indrukwekkende vooruitgang geboekt in wiskundig redeneren. Hoewel data-augmentatie veelbelovend is om het vermogen tot wiskundig probleemoplossen te verbeteren, zijn huidige benaderingen voornamelijk beperkt tot wijzigingen op instansieniveau—zoals herformulering of het genereren van syntactische variaties—die de intrinsieke relationele structuren die inherent zijn aan wiskundige kennis niet vastleggen en benutten. Geïnspireerd door menselijke leerprocessen, waarbij wiskundige vaardigheid zich ontwikkelt door systematische blootstelling aan onderling verbonden concepten, introduceren we MathFusion, een nieuw framework dat wiskundig redeneren verbetert door kruisprobleem-instructiesynthese. MathFusion implementeert dit via drie fusiestrategieën: (1) sequentiële fusie, waarbij gerelateerde problemen worden gekoppeld om oplossingsafhankelijkheden te modelleren; (2) parallelle fusie, waarbij analoge problemen worden gecombineerd om conceptueel begrip te versterken; en (3) conditionele fusie, waarbij contextbewuste selectieve problemen worden gecreëerd om de flexibiliteit van het redeneren te vergroten. Door deze strategieën toe te passen, genereren we een nieuwe dataset, MathFusionQA, gevolgd door het finetunen van modellen (DeepSeekMath-7B, Mistral-7B, Llama3-8B) hierop. Experimentele resultaten tonen aan dat MathFusion aanzienlijke verbeteringen bereikt in wiskundig redeneren terwijl het een hoge data-efficiëntie behoudt, met een prestatieverbetering van 18,0 punten in nauwkeurigheid over diverse benchmarks, terwijl slechts 45K aanvullende synthetische instructies nodig zijn, wat een aanzienlijke verbetering is ten opzichte van traditionele single-instructiebenaderingen. Onze datasets, modellen en code zijn publiekelijk beschikbaar op https://github.com/QizhiPei/mathfusion.

English

Large Language Models (LLMs) have shown impressive progress in mathematical reasoning. While data augmentation is promising to enhance mathematical problem-solving ability, current approaches are predominantly limited to instance-level modifications-such as rephrasing or generating syntactic variations-which fail to capture and leverage the intrinsic relational structures inherent in mathematical knowledge. Inspired by human learning processes, where mathematical proficiency develops through systematic exposure to interconnected concepts, we introduce MathFusion, a novel framework that enhances mathematical reasoning through cross-problem instruction synthesis. MathFusion implements this through three fusion strategies: (1) sequential fusion, which chains related problems to model solution dependencies; (2) parallel fusion, which combines analogous problems to reinforce conceptual understanding; and (3) conditional fusion, which creates context-aware selective problems to enhance reasoning flexibility. By applying these strategies, we generate a new dataset, MathFusionQA, followed by fine-tuning models (DeepSeekMath-7B, Mistral-7B, Llama3-8B) on it. Experimental results demonstrate that MathFusion achieves substantial improvements in mathematical reasoning while maintaining high data efficiency, boosting performance by 18.0 points in accuracy across diverse benchmarks while requiring only 45K additional synthetic instructions, representing a substantial improvement over traditional single-instruction approaches. Our datasets, models, and code are publicly available at https://github.com/QizhiPei/mathfusion.