MathFusion: Aprimorando a Resolução de Problemas Matemáticos de LLMs por meio de Fusão de Instruções

MathFusion: Enhancing Mathematic Problem-solving of LLM through Instruction Fusion

March 20, 2025

Autores: Qizhi Pei, Lijun Wu, Zhuoshi Pan, Yu Li, Honglin Lin, Chenlin Ming, Xin Gao, Conghui He, Rui Yan

cs.AI

Resumo

Os Modelos de Linguagem de Grande Escala (LLMs) têm demonstrado progressos impressionantes no raciocínio matemático. Embora a ampliação de dados seja promissora para aprimorar a capacidade de resolução de problemas matemáticos, as abordagens atuais estão predominantemente limitadas a modificações no nível de instância — como reformulações ou geração de variações sintáticas — que não conseguem capturar e aproveitar as estruturas relacionais intrínsecas inerentes ao conhecimento matemático. Inspirados pelos processos de aprendizagem humana, onde a proficiência matemática se desenvolve por meio da exposição sistemática a conceitos interconectados, introduzimos o MathFusion, um novo framework que aprimora o raciocínio matemático por meio da síntese de instruções entre problemas. O MathFusion implementa isso através de três estratégias de fusão: (1) fusão sequencial, que encadeia problemas relacionados para modelar dependências de soluções; (2) fusão paralela, que combina problemas análogos para reforçar a compreensão conceitual; e (3) fusão condicional, que cria problemas seletivos contextualizados para aumentar a flexibilidade do raciocínio. Ao aplicar essas estratégias, geramos um novo conjunto de dados, o MathFusionQA, seguido pelo ajuste fino de modelos (DeepSeekMath-7B, Mistral-7B, Llama3-8B) nele. Os resultados experimentais demonstram que o MathFusion alcança melhorias substanciais no raciocínio matemático, mantendo alta eficiência de dados, aumentando o desempenho em 18,0 pontos de precisão em diversos benchmarks, enquanto requer apenas 45K instruções sintéticas adicionais, representando uma melhoria significativa em relação às abordagens tradicionais de instrução única. Nossos conjuntos de dados, modelos e código estão disponíveis publicamente em https://github.com/QizhiPei/mathfusion.

English

Large Language Models (LLMs) have shown impressive progress in mathematical reasoning. While data augmentation is promising to enhance mathematical problem-solving ability, current approaches are predominantly limited to instance-level modifications-such as rephrasing or generating syntactic variations-which fail to capture and leverage the intrinsic relational structures inherent in mathematical knowledge. Inspired by human learning processes, where mathematical proficiency develops through systematic exposure to interconnected concepts, we introduce MathFusion, a novel framework that enhances mathematical reasoning through cross-problem instruction synthesis. MathFusion implements this through three fusion strategies: (1) sequential fusion, which chains related problems to model solution dependencies; (2) parallel fusion, which combines analogous problems to reinforce conceptual understanding; and (3) conditional fusion, which creates context-aware selective problems to enhance reasoning flexibility. By applying these strategies, we generate a new dataset, MathFusionQA, followed by fine-tuning models (DeepSeekMath-7B, Mistral-7B, Llama3-8B) on it. Experimental results demonstrate that MathFusion achieves substantial improvements in mathematical reasoning while maintaining high data efficiency, boosting performance by 18.0 points in accuracy across diverse benchmarks while requiring only 45K additional synthetic instructions, representing a substantial improvement over traditional single-instruction approaches. Our datasets, models, and code are publicly available at https://github.com/QizhiPei/mathfusion.