Skywork-Math: Schaalwetten voor Gegevens bij Wiskundig Redeneren in Grote Taalmodellen -- Het Verhaal Gaat Door

Skywork-Math: Data Scaling Laws for Mathematical Reasoning in Large Language Models -- The Story Goes On

July 11, 2024

Auteurs: Liang Zeng, Liangjun Zhong, Liang Zhao, Tianwen Wei, Liu Yang, Jujie He, Cheng Cheng, Rui Hu, Yang Liu, Shuicheng Yan, Han Fang, Yahui Zhou

cs.AI

Samenvatting

In dit artikel onderzoeken we de onderliggende factoren die mogelijk bijdragen aan het verbeteren van de wiskundige redeneervaardigheden van grote taalmodellen (LLMs). We betogen dat de schaalwet voor data in relatie tot wiskundige redeneervaardigheden in moderne LLMs nog lang niet verzadigd is, en benadrukken hoe de kwaliteit van het model verbetert naarmate de hoeveelheid data toeneemt. Om deze bewering te ondersteunen, introduceren we de Skywork-Math modelreeks, die via supervised fine-tuning (SFT) is getraind op gangbare 7B LLMs met behulp van onze voorgestelde Skywork-MathQA dataset van 2,5 miljoen instanties. Skywork-Math 7B heeft indrukwekkende nauwkeurigheden behaald van 51,2% op het competitieniveau MATH-benchmark en 83,9% op de GSM8K-benchmark, uitsluitend met SFT-data, en presteert daarmee beter dan een vroege versie van GPT-4 op MATH. De superieure prestaties van de Skywork-Math-modellen zijn te danken aan onze innovatieve tweefasige data-synthese en model-SFT-pipelines, die drie verschillende augmentatiemethoden en een diverse set van startproblemen omvatten, waardoor zowel de hoeveelheid als de kwaliteit van de Skywork-MathQA dataset over verschillende moeilijkheidsgraden gewaarborgd wordt. Het belangrijkste is dat we verschillende praktische inzichten bieden om de wiskundige redeneervaardigheden van LLMs te verbeteren, zowel voor onderzoeks- als industriële toepassingen.

English

In this paper, we investigate the underlying factors that potentially enhance the mathematical reasoning capabilities of large language models (LLMs). We argue that the data scaling law for math reasoning capabilities in modern LLMs is far from being saturated, highlighting how the model's quality improves with increases in data quantity. To support this claim, we introduce the Skywork-Math model series, supervised fine-tuned (SFT) on common 7B LLMs using our proposed 2.5M-instance Skywork-MathQA dataset. Skywork-Math 7B has achieved impressive accuracies of 51.2% on the competition-level MATH benchmark and 83.9% on the GSM8K benchmark using only SFT data, outperforming an early version of GPT-4 on MATH. The superior performance of Skywork-Math models contributes to our novel two-stage data synthesis and model SFT pipelines, which include three different augmentation methods and a diverse seed problem set, ensuring both the quantity and quality of Skywork-MathQA dataset across varying difficulty levels. Most importantly, we provide several practical takeaways to enhance math reasoning abilities in LLMs for both research and industry applications.