MathFusion: Mejorando la Resolución de Problemas Matemáticos en LLM mediante Fusión de Instrucciones

MathFusion: Enhancing Mathematic Problem-solving of LLM through Instruction Fusion

March 20, 2025

Autores: Qizhi Pei, Lijun Wu, Zhuoshi Pan, Yu Li, Honglin Lin, Chenlin Ming, Xin Gao, Conghui He, Rui Yan

cs.AI

Resumen

Los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés) han mostrado avances impresionantes en razonamiento matemático. Si bien la ampliación de datos es prometedora para mejorar la capacidad de resolución de problemas matemáticos, los enfoques actuales se limitan predominantemente a modificaciones a nivel de instancia, como reformular o generar variaciones sintácticas, lo que no logra captar ni aprovechar las estructuras relacionales intrínsecas inherentes al conocimiento matemático. Inspirados por los procesos de aprendizaje humano, donde la competencia matemática se desarrolla a través de la exposición sistemática a conceptos interconectados, presentamos MathFusion, un marco novedoso que mejora el razonamiento matemático mediante la síntesis de instrucciones entre problemas. MathFusion implementa esto a través de tres estrategias de fusión: (1) fusión secuencial, que encadena problemas relacionados para modelar dependencias de soluciones; (2) fusión paralela, que combina problemas análogos para reforzar la comprensión conceptual; y (3) fusión condicional, que crea problemas selectivos conscientes del contexto para mejorar la flexibilidad del razonamiento. Al aplicar estas estrategias, generamos un nuevo conjunto de datos, MathFusionQA, seguido del ajuste fino de modelos (DeepSeekMath-7B, Mistral-7B, Llama3-8B) en él. Los resultados experimentales demuestran que MathFusion logra mejoras sustanciales en el razonamiento matemático mientras mantiene una alta eficiencia de datos, aumentando el rendimiento en 18.0 puntos de precisión en diversos benchmarks mientras requiere solo 45K instrucciones sintéticas adicionales, lo que representa una mejora significativa sobre los enfoques tradicionales de instrucción única. Nuestros conjuntos de datos, modelos y código están disponibles públicamente en https://github.com/QizhiPei/mathfusion.

English

Large Language Models (LLMs) have shown impressive progress in mathematical reasoning. While data augmentation is promising to enhance mathematical problem-solving ability, current approaches are predominantly limited to instance-level modifications-such as rephrasing or generating syntactic variations-which fail to capture and leverage the intrinsic relational structures inherent in mathematical knowledge. Inspired by human learning processes, where mathematical proficiency develops through systematic exposure to interconnected concepts, we introduce MathFusion, a novel framework that enhances mathematical reasoning through cross-problem instruction synthesis. MathFusion implements this through three fusion strategies: (1) sequential fusion, which chains related problems to model solution dependencies; (2) parallel fusion, which combines analogous problems to reinforce conceptual understanding; and (3) conditional fusion, which creates context-aware selective problems to enhance reasoning flexibility. By applying these strategies, we generate a new dataset, MathFusionQA, followed by fine-tuning models (DeepSeekMath-7B, Mistral-7B, Llama3-8B) on it. Experimental results demonstrate that MathFusion achieves substantial improvements in mathematical reasoning while maintaining high data efficiency, boosting performance by 18.0 points in accuracy across diverse benchmarks while requiring only 45K additional synthetic instructions, representing a substantial improvement over traditional single-instruction approaches. Our datasets, models, and code are publicly available at https://github.com/QizhiPei/mathfusion.