MetaMath: Самостоятельная генерация математических вопросов для крупных языковых моделей

MetaMath: Bootstrap Your Own Mathematical Questions for Large Language Models

September 21, 2023

Авторы: Longhui Yu, Weisen Jiang, Han Shi, Jincheng Yu, Zhengying Liu, Yu Zhang, James T. Kwok, Zhenguo Li, Adrian Weller, Weiyang Liu

cs.AI

Аннотация

Крупные языковые модели (LLM) расширили границы понимания естественного языка и продемонстрировали превосходные способности в решении задач. Однако, несмотря на значительные успехи, большинство существующих открытых LLM (например, LLaMA-2) всё ещё далеки от удовлетворительных результатов в решении математических задач из-за сложных процедур логического рассуждения. Чтобы устранить этот разрыв, мы предлагаем MetaMath — тонко настроенную языковую модель, специализирующуюся на математических рассуждениях. В частности, мы начинаем с создания математических вопросов путём переформулирования задач с различных точек зрения без использования дополнительных знаний, что приводит к созданию нового набора данных под названием {MetaMathQA}. Затем мы тонко настраиваем модели LLaMA-2 на основе MetaMathQA. Результаты экспериментов на двух популярных тестовых наборах (а именно GSM8K и MATH) для математических рассуждений показывают, что MetaMath значительно превосходит ряд открытых LLM. Наша модель MetaMath-7B достигает 66,4% на GSM8K и 19,4% на MATH, превышая показатели современных моделей того же размера на 11,5% и 8,7% соответственно. В частности, {MetaMath-70B} достигает точности 82,3% на {GSM8K}, что немного лучше, чем у {GPT-3.5-Turbo}. Мы публикуем набор данных {MetaMathQA}, модели {MetaMath} различных размеров и обучающий код для общего использования.

English

Large language models (LLMs) have pushed the limits of natural language understanding and exhibited excellent problem-solving ability. Despite the great success, most existing open-source LLMs (\eg, LLaMA-2) are still far away from satisfactory for solving mathematical problem due to the complex reasoning procedures. To bridge this gap, we propose MetaMath, a fine-tuned language model that specializes in mathematical reasoning. Specifically, we start by bootstrapping mathematical questions by rewriting the question from multiple perspectives without extra knowledge, which results in a new dataset called {MetaMathQA}. Then we fine-tune the LLaMA-2 models on MetaMathQA. Experimental results on two popular benchmarks (\ie, GSM8K and MATH) for mathematical reasoning demonstrate that MetaMath outperforms a suite of open-source LLMs by a significant margin. Our MetaMath-7B model achieves 66.4% on GSM8K and 19.4% on MATH, exceeding the state-of-the-art models of the same size by 11.5% and 8.7%. Particularly, {MetaMath-70B} achieves an accuracy of 82.3% on {GSM8K}, slightly better than {GPT-3.5-Turbo}. We release the {MetaMathQA} dataset, the {MetaMath} models with different model sizes and the training code for public use.