MetaMath: Genera Tus Propias Preguntas Matemáticas para Modelos de Lenguaje de Gran Escala

Resumen

Los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) han llevado al límite la comprensión del lenguaje natural y han demostrado una excelente capacidad para resolver problemas. A pesar de este gran éxito, la mayoría de los LLMs de código abierto existentes (\eg, LLaMA-2) aún están lejos de ser satisfactorios para resolver problemas matemáticos debido a los complejos procedimientos de razonamiento involucrados. Para cerrar esta brecha, proponemos MetaMath, un modelo de lenguaje ajustado que se especializa en razonamiento matemático. Específicamente, comenzamos generando preguntas matemáticas mediante la reescritura de las mismas desde múltiples perspectivas sin necesidad de conocimiento adicional, lo que resulta en un nuevo conjunto de datos llamado {MetaMathQA}. Luego, ajustamos los modelos LLaMA-2 en MetaMathQA. Los resultados experimentales en dos benchmarks populares (\ie, GSM8K y MATH) para razonamiento matemático demuestran que MetaMath supera significativamente a una serie de LLMs de código abierto. Nuestro modelo MetaMath-7B alcanza un 66.4% en GSM8K y un 19.4% en MATH, superando a los modelos más avanzados del mismo tamaño en un 11.5% y un 8.7%, respectivamente. En particular, {MetaMath-70B} logra una precisión del 82.3% en {GSM8K}, ligeramente mejor que {GPT-3.5-Turbo}. Publicamos el conjunto de datos {MetaMathQA}, los modelos {MetaMath} con diferentes tamaños y el código de entrenamiento para uso público.

English

Large language models (LLMs) have pushed the limits of natural language understanding and exhibited excellent problem-solving ability. Despite the great success, most existing open-source LLMs (\eg, LLaMA-2) are still far away from satisfactory for solving mathematical problem due to the complex reasoning procedures. To bridge this gap, we propose MetaMath, a fine-tuned language model that specializes in mathematical reasoning. Specifically, we start by bootstrapping mathematical questions by rewriting the question from multiple perspectives without extra knowledge, which results in a new dataset called {MetaMathQA}. Then we fine-tune the LLaMA-2 models on MetaMathQA. Experimental results on two popular benchmarks (\ie, GSM8K and MATH) for mathematical reasoning demonstrate that MetaMath outperforms a suite of open-source LLMs by a significant margin. Our MetaMath-7B model achieves 66.4% on GSM8K and 19.4% on MATH, exceeding the state-of-the-art models of the same size by 11.5% and 8.7%. Particularly, {MetaMath-70B} achieves an accuracy of 82.3% on {GSM8K}, slightly better than {GPT-3.5-Turbo}. We release the {MetaMathQA} dataset, the {MetaMath} models with different model sizes and the training code for public use.

MetaMath: Genera Tus Propias Preguntas Matemáticas para Modelos de Lenguaje de Gran Escala

MetaMath: Bootstrap Your Own Mathematical Questions for Large Language Models

Resumen

Support