Skywork-Math: Datenskalierungsgesetze für mathematisches Denken in großen Sprachmodellen -- Die Geschichte geht weiter

Skywork-Math: Data Scaling Laws for Mathematical Reasoning in Large Language Models -- The Story Goes On

July 11, 2024

Autoren: Liang Zeng, Liangjun Zhong, Liang Zhao, Tianwen Wei, Liu Yang, Jujie He, Cheng Cheng, Rui Hu, Yang Liu, Shuicheng Yan, Han Fang, Yahui Zhou

cs.AI

Zusammenfassung

In diesem Paper untersuchen wir die zugrunde liegenden Faktoren, die möglicherweise die mathematischen Schlussfolgerungsfähigkeiten großer Sprachmodelle (LLMs) verbessern. Wir argumentieren, dass das Skalierungsgesetz für mathematische Schlussfolgerungsfähigkeiten in modernen LLMs bei weitem noch nicht gesättigt ist und heben hervor, wie die Qualität des Modells mit zunehmender Datenmenge steigt. Um diese Behauptung zu unterstützen, stellen wir die Skywork-Math Modellreihe vor, die durch überwachtes Feintuning (SFT) an gängigen 7B LLMs unter Verwendung unseres vorgeschlagenen 2,5M-Instanzen Skywork-MathQA Datensatzes trainiert wurde. Skywork-Math 7B hat beeindruckende Genauigkeiten von 51,2% im Wettbewerbsniveau MATH Benchmark und 83,9% im GSM8K Benchmark nur mit SFT-Daten erreicht und übertrifft damit eine frühere Version von GPT-4 in Mathematik. Die überlegene Leistung der Skywork-Math Modelle trägt zu unseren neuartigen zweistufigen Datensynthese- und Modell-SFT-Pipelines bei, die drei verschiedene Augmentierungsmethoden und einen vielfältigen Satz von Ausgangsproblemen umfassen, um sowohl die Quantität als auch die Qualität des Skywork-MathQA Datensatzes über verschiedene Schwierigkeitsgrade hinweg sicherzustellen. Am wichtigsten ist, dass wir mehrere praktische Erkenntnisse liefern, um die mathematischen Schlussfolgerungsfähigkeiten in LLMs für Forschungs- und Industrieanwendungen zu verbessern.

English

In this paper, we investigate the underlying factors that potentially enhance the mathematical reasoning capabilities of large language models (LLMs). We argue that the data scaling law for math reasoning capabilities in modern LLMs is far from being saturated, highlighting how the model's quality improves with increases in data quantity. To support this claim, we introduce the Skywork-Math model series, supervised fine-tuned (SFT) on common 7B LLMs using our proposed 2.5M-instance Skywork-MathQA dataset. Skywork-Math 7B has achieved impressive accuracies of 51.2% on the competition-level MATH benchmark and 83.9% on the GSM8K benchmark using only SFT data, outperforming an early version of GPT-4 on MATH. The superior performance of Skywork-Math models contributes to our novel two-stage data synthesis and model SFT pipelines, which include three different augmentation methods and a diverse seed problem set, ensuring both the quantity and quality of Skywork-MathQA dataset across varying difficulty levels. Most importantly, we provide several practical takeaways to enhance math reasoning abilities in LLMs for both research and industry applications.