Skywork-Math: Законы масштабирования данных для математического рассуждения в больших языковых моделях -- История продолжается

Skywork-Math: Data Scaling Laws for Mathematical Reasoning in Large Language Models -- The Story Goes On

July 11, 2024

Авторы: Liang Zeng, Liangjun Zhong, Liang Zhao, Tianwen Wei, Liu Yang, Jujie He, Cheng Cheng, Rui Hu, Yang Liu, Shuicheng Yan, Han Fang, Yahui Zhou

cs.AI

Аннотация

В данной статье мы исследуем основные факторы, которые потенциально улучшают математические рассуждения крупных языковых моделей (LLM). Мы утверждаем, что закон масштабирования данных для математических рассуждений в современных LLM далек от насыщения, подчеркивая, как качество модели улучшается с увеличением объема данных. Для подтверждения этого утверждения мы представляем серию моделей Skywork-Math, обученных с учителем (SFT) на общих 7B LLM с использованием нашего предложенного набора данных Skywork-MathQA с 2.5 млн экземпляров. Skywork-Math 7B достиг впечатляющей точности 51.2% на соревновательном бенчмарке MATH и 83.9% на бенчмарке GSM8K, используя только данные SFT, превзойдя раннюю версию GPT-4 по MATH. Превосходная производительность моделей Skywork-Math обусловлена нашими новыми двухэтапными процессами синтеза данных и обучения моделей SFT, которые включают три различных метода аугментации и разнообразный набор исходных задач, обеспечивая как количество, так и качество набора данных Skywork-MathQA на различных уровнях сложности. Наиболее важно, мы предоставляем несколько практических выводов для улучшения математических рассуждений в LLM как для исследовательских, так и для промышленных приложений.

English

In this paper, we investigate the underlying factors that potentially enhance the mathematical reasoning capabilities of large language models (LLMs). We argue that the data scaling law for math reasoning capabilities in modern LLMs is far from being saturated, highlighting how the model's quality improves with increases in data quantity. To support this claim, we introduce the Skywork-Math model series, supervised fine-tuned (SFT) on common 7B LLMs using our proposed 2.5M-instance Skywork-MathQA dataset. Skywork-Math 7B has achieved impressive accuracies of 51.2% on the competition-level MATH benchmark and 83.9% on the GSM8K benchmark using only SFT data, outperforming an early version of GPT-4 on MATH. The superior performance of Skywork-Math models contributes to our novel two-stage data synthesis and model SFT pipelines, which include three different augmentation methods and a diverse seed problem set, ensuring both the quantity and quality of Skywork-MathQA dataset across varying difficulty levels. Most importantly, we provide several practical takeaways to enhance math reasoning abilities in LLMs for both research and industry applications.