LEMA: Aprendizaje a partir de Errores para el Avance Matemático en Modelos de Lenguaje de Gran Escala

LEMMA: Learning from Errors for MatheMatical Advancement in LLMs

March 21, 2025

Autores: Zhuoshi Pan, Yu Li, Honglin Lin, Qizhi Pei, Zinan Tang, Wei Wu, Chenlin Ming, H. Vicky Zhao, Conghui He, Lijun Wu

cs.AI

Resumen

Los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) han demostrado una capacidad notable de razonamiento para resolver problemas matemáticos. Sin embargo, los enfoques existentes se centran principalmente en mejorar la calidad de los datos de entrenamiento correctos, por ejemplo, destilando soluciones correctas de alta calidad a partir de modelos avanzados, descuidando el valor contenido en los datos de errores, lo que potencialmente obstaculiza la capacidad reflexiva del modelo. Aunque algunos estudios intentan aprovechar los datos de errores, a menudo involucran mecanismos complejos, como la Búsqueda de Árbol de Monte Carlo (MCTS) para explorar nodos de error. En este trabajo, proponemos mejorar la capacidad de razonamiento de los LLMs mediante el Aprendizaje a partir de Errores para el Avance Matemático (LEMMA, por sus siglas en inglés). LEMMA construye datos que consisten en una solución incorrecta con un paso erróneo y una conexión de reflexión a una solución correcta para el ajuste fino. Específicamente, analizamos sistemáticamente los tipos de errores generados por el modelo e introducimos un método de aumento de errores basado en tipos de errores para recopilar errores diversos y representativos. Las soluciones correctas provienen de corregir los errores o de generar un nuevo comienzo. A través de una conexión de reflexión suave consciente del modelo, la solución errónea se transfiere a la correcta. Al ajustar el modelo en el conjunto de datos construido, este es capaz de autocorregir errores de manera autónoma dentro del proceso de generación sin depender de modelos de crítica externos. Los resultados experimentales demuestran que LEMMA logra mejoras significativas en el rendimiento en comparación con otras líneas de base sólidas.

English

Large language models (LLMs) have demonstrated remarkable reasoning capability in solving mathematical problems. However, existing approaches primarily focus on improving the quality of correct training data, e.g., distilling high-quality correct solutions from advanced models, neglecting the value contained in error data, potentially hindering the model's reflective ability. Though some studies attempt to leverage error data, they often involve complex mechanisms, such as Monte Carlo Tree Search (MCTS) to explore error nodes. In this work, we propose to enhance LLMs' reasoning ability by Learning from Errors for Mathematical Advancement (LEMMA). LEMMA constructs data consisting of an incorrect solution with an erroneous step and a reflection connection to a correct solution for fine-tuning. Specifically, we systematically analyze the model-generated error types and introduce an error-type grounded mistake augmentation method to collect diverse and representative errors. Correct solutions are either from fixing the errors or generating a fresh start. Through a model-aware smooth reflection connection, the erroneous solution is transferred to the correct one. By fine-tuning on the constructed dataset, the model is able to self-correct errors autonomously within the generation process without relying on external critique models. Experimental results demonstrate that LEMMA achieves significant performance improvements over other strong baselines.