MathCoder2: Mejor razonamiento matemático a partir de un preentrenamiento continuado en código matemático traducido por el modelo.

MathCoder2: Better Math Reasoning from Continued Pretraining on Model-translated Mathematical Code

October 10, 2024

Autores: Zimu Lu, Aojun Zhou, Ke Wang, Houxing Ren, Weikang Shi, Junting Pan, Mingjie Zhan, Hongsheng Li

cs.AI

Resumen

Se ha demostrado que el código es efectivo para mejorar las habilidades de razonamiento matemático de grandes modelos de lenguaje debido a su precisión y exactitud. Trabajos anteriores que involucran el preentrenamiento matemático continuo a menudo incluyen código que utiliza paquetes relacionados con matemáticas, diseñados principalmente para campos como la ingeniería, el aprendizaje automático, el procesamiento de señales o pruebas de módulos, en lugar de estar directamente enfocados en el razonamiento matemático. En este documento, presentamos un método novedoso para generar código matemático acompañado de pasos de razonamiento correspondientes para el preentrenamiento continuo. Nuestro enfoque comienza con la construcción de un conjunto de datos de preentrenamiento matemático continuo de alta calidad incorporando datos web relacionados con matemáticas, código que utiliza paquetes matemáticos, libros de texto de matemáticas y datos sintéticos. A continuación, construimos pasos de razonamiento extrayendo expresiones LaTeX, las condiciones necesarias para las expresiones y los resultados de las expresiones del conjunto de datos previamente recopilado. Con base en esta información extraída, generamos código correspondiente para capturar con precisión el proceso de razonamiento matemático. Adjuntar el código generado a cada paso de razonamiento resulta en datos que consisten en pasos de razonamiento en lenguaje natural emparejados con su código correspondiente. Combinar estos datos con el conjunto de datos original resulta en un corpus de preentrenamiento matemático de alto rendimiento de 19.2 mil millones de tokens, al que llamamos MathCode-Pile. Entrenar varios modelos base populares con este corpus mejora significativamente sus habilidades matemáticas, lo que lleva a la creación de la familia de modelos MathCoder2. Todo nuestro código de procesamiento de datos y entrenamiento está disponible en código abierto, garantizando total transparencia y fácil reproducibilidad de toda la recopilación de datos y el proceso de entrenamiento. El código se encuentra disponible en https://github.com/mathllm/MathCoder2.

English

Code has been shown to be effective in enhancing the mathematical reasoning abilities of large language models due to its precision and accuracy. Previous works involving continued mathematical pretraining often include code that utilizes math-related packages, which are primarily designed for fields such as engineering, machine learning, signal processing, or module testing, rather than being directly focused on mathematical reasoning. In this paper, we introduce a novel method for generating mathematical code accompanied with corresponding reasoning steps for continued pretraining. Our approach begins with the construction of a high-quality mathematical continued pretraining dataset by incorporating math-related web data, code using mathematical packages, math textbooks, and synthetic data. Next, we construct reasoning steps by extracting LaTeX expressions, the conditions needed for the expressions, and the results of the expressions from the previously collected dataset. Based on this extracted information, we generate corresponding code to accurately capture the mathematical reasoning process. Appending the generated code to each reasoning step results in data consisting of paired natural language reasoning steps and their corresponding code. Combining this data with the original dataset results in a 19.2B-token high-performing mathematical pretraining corpus, which we name MathCode-Pile. Training several popular base models with this corpus significantly improves their mathematical abilities, leading to the creation of the MathCoder2 family of models. All of our data processing and training code is open-sourced, ensuring full transparency and easy reproducibility of the entire data collection and training pipeline. The code is released at https://github.com/mathllm/MathCoder2 .