MathFusion: Miglioramento della Risoluzione di Problemi Matematici nei Modelli Linguistici di Grande Dimensione attraverso la Fusione di Istruzioni

MathFusion: Enhancing Mathematic Problem-solving of LLM through Instruction Fusion

March 20, 2025

Autori: Qizhi Pei, Lijun Wu, Zhuoshi Pan, Yu Li, Honglin Lin, Chenlin Ming, Xin Gao, Conghui He, Rui Yan

cs.AI

Abstract

I Large Language Model (LLM) hanno dimostrato progressi significativi nel ragionamento matematico. Sebbene l'aumento dei dati sia promettente per migliorare la capacità di risoluzione di problemi matematici, gli approcci attuali sono prevalentemente limitati a modifiche a livello di istanza, come la riformulazione o la generazione di variazioni sintattiche, che non riescono a cogliere e sfruttare le strutture relazionali intrinseche proprie della conoscenza matematica. Ispirati dai processi di apprendimento umano, in cui la competenza matematica si sviluppa attraverso l'esposizione sistematica a concetti interconnessi, introduciamo MathFusion, un nuovo framework che migliora il ragionamento matematico attraverso la sintesi di istruzioni cross-problema. MathFusion implementa ciò attraverso tre strategie di fusione: (1) fusione sequenziale, che collega problemi correlati per modellare le dipendenze delle soluzioni; (2) fusione parallela, che combina problemi analoghi per rafforzare la comprensione concettuale; e (3) fusione condizionale, che crea problemi selettivi contestuali per migliorare la flessibilità del ragionamento. Applicando queste strategie, generiamo un nuovo dataset, MathFusionQA, seguito dal fine-tuning di modelli (DeepSeekMath-7B, Mistral-7B, Llama3-8B) su di esso. I risultati sperimentali dimostrano che MathFusion ottiene miglioramenti sostanziali nel ragionamento matematico mantenendo un'elevata efficienza dei dati, aumentando le prestazioni di 18,0 punti in accuratezza su diversi benchmark mentre richiede solo 45K istruzioni sintetiche aggiuntive, rappresentando un miglioramento significativo rispetto agli approcci tradizionali a singola istruzione. I nostri dataset, modelli e codice sono disponibili pubblicamente su https://github.com/QizhiPei/mathfusion.

English

Large Language Models (LLMs) have shown impressive progress in mathematical reasoning. While data augmentation is promising to enhance mathematical problem-solving ability, current approaches are predominantly limited to instance-level modifications-such as rephrasing or generating syntactic variations-which fail to capture and leverage the intrinsic relational structures inherent in mathematical knowledge. Inspired by human learning processes, where mathematical proficiency develops through systematic exposure to interconnected concepts, we introduce MathFusion, a novel framework that enhances mathematical reasoning through cross-problem instruction synthesis. MathFusion implements this through three fusion strategies: (1) sequential fusion, which chains related problems to model solution dependencies; (2) parallel fusion, which combines analogous problems to reinforce conceptual understanding; and (3) conditional fusion, which creates context-aware selective problems to enhance reasoning flexibility. By applying these strategies, we generate a new dataset, MathFusionQA, followed by fine-tuning models (DeepSeekMath-7B, Mistral-7B, Llama3-8B) on it. Experimental results demonstrate that MathFusion achieves substantial improvements in mathematical reasoning while maintaining high data efficiency, boosting performance by 18.0 points in accuracy across diverse benchmarks while requiring only 45K additional synthetic instructions, representing a substantial improvement over traditional single-instruction approaches. Our datasets, models, and code are publicly available at https://github.com/QizhiPei/mathfusion.