MathFusion: 命令融合による大規模言語モデルの数学問題解決能力の強化

MathFusion: Enhancing Mathematic Problem-solving of LLM through Instruction Fusion

March 20, 2025

著者: Qizhi Pei, Lijun Wu, Zhuoshi Pan, Yu Li, Honglin Lin, Chenlin Ming, Xin Gao, Conghui He, Rui Yan

cs.AI

要旨

大規模言語モデル（LLMs）は、数学的推論において目覚ましい進歩を示しています。データ拡張は数学的問題解決能力を向上させる有望な手法ですが、現在のアプローチは主にインスタンスレベルの修正（言い換えや構文的なバリエーションの生成など）に限定されており、数学的知識に内在する関係的構造を捉え活用することができていません。人間の学習プロセスに着想を得て、数学的熟達度が相互に関連する概念に体系的に触れることで発達することを踏まえ、我々はMathFusionという新しいフレームワークを提案します。MathFusionは、問題間の指示合成を通じて数学的推論を強化します。このフレームワークは、以下の3つの融合戦略を実装しています：(1) 関連する問題を連鎖させ、解決の依存関係をモデル化する逐次融合、(2) 類似した問題を組み合わせ、概念理解を強化する並列融合、(3) 文脈を考慮した選択的問題を作成し、推論の柔軟性を高める条件付き融合。これらの戦略を適用することで、新しいデータセットMathFusionQAを生成し、それに基づいてモデル（DeepSeekMath-7B、Mistral-7B、Llama3-8B）をファインチューニングしました。実験結果は、MathFusionが高いデータ効率を維持しながら数学的推論を大幅に改善し、多様なベンチマークで精度を18.0ポイント向上させ、わずか45Kの追加合成指示で従来の単一指示アプローチを大幅に上回ることを示しています。我々のデータセット、モデル、コードはhttps://github.com/QizhiPei/mathfusionで公開されています。

English

Large Language Models (LLMs) have shown impressive progress in mathematical reasoning. While data augmentation is promising to enhance mathematical problem-solving ability, current approaches are predominantly limited to instance-level modifications-such as rephrasing or generating syntactic variations-which fail to capture and leverage the intrinsic relational structures inherent in mathematical knowledge. Inspired by human learning processes, where mathematical proficiency develops through systematic exposure to interconnected concepts, we introduce MathFusion, a novel framework that enhances mathematical reasoning through cross-problem instruction synthesis. MathFusion implements this through three fusion strategies: (1) sequential fusion, which chains related problems to model solution dependencies; (2) parallel fusion, which combines analogous problems to reinforce conceptual understanding; and (3) conditional fusion, which creates context-aware selective problems to enhance reasoning flexibility. By applying these strategies, we generate a new dataset, MathFusionQA, followed by fine-tuning models (DeepSeekMath-7B, Mistral-7B, Llama3-8B) on it. Experimental results demonstrate that MathFusion achieves substantial improvements in mathematical reasoning while maintaining high data efficiency, boosting performance by 18.0 points in accuracy across diverse benchmarks while requiring only 45K additional synthetic instructions, representing a substantial improvement over traditional single-instruction approaches. Our datasets, models, and code are publicly available at https://github.com/QizhiPei/mathfusion.