Skywork-Math : Les lois de mise à l'échelle des données pour le raisonnement mathématique dans les grands modèles de langage — L'histoire continue

Skywork-Math: Data Scaling Laws for Mathematical Reasoning in Large Language Models -- The Story Goes On

July 11, 2024

Auteurs: Liang Zeng, Liangjun Zhong, Liang Zhao, Tianwen Wei, Liu Yang, Jujie He, Cheng Cheng, Rui Hu, Yang Liu, Shuicheng Yan, Han Fang, Yahui Zhou

cs.AI

Résumé

Dans cet article, nous étudions les facteurs sous-jacents susceptibles d'améliorer les capacités de raisonnement mathématique des grands modèles de langage (LLMs). Nous soutenons que la loi d'échelle des données pour les capacités de raisonnement mathématique dans les LLMs modernes est loin d'être saturée, mettant en évidence comment la qualité du modèle s'améliore avec l'augmentation de la quantité de données. Pour étayer cette affirmation, nous présentons la série de modèles Skywork-Math, fine-tunée de manière supervisée (SFT) sur des LLMs 7B courants en utilisant notre jeu de données Skywork-MathQA de 2,5 millions d'instances. Skywork-Math 7B a atteint des précisions impressionnantes de 51,2 % sur le benchmark compétitif MATH et 83,9 % sur le benchmark GSM8K en utilisant uniquement des données SFT, surpassant une version précoce de GPT-4 sur MATH. La performance supérieure des modèles Skywork-Math est attribuable à nos pipelines novateurs de synthèse de données en deux étapes et de SFT de modèle, qui incluent trois méthodes d'augmentation différentes et un ensemble diversifié de problèmes de départ, garantissant à la fois la quantité et la qualité du jeu de données Skywork-MathQA à différents niveaux de difficulté. Plus important encore, nous fournissons plusieurs enseignements pratiques pour améliorer les capacités de raisonnement mathématique des LLMs, tant pour la recherche que pour les applications industrielles.

English

In this paper, we investigate the underlying factors that potentially enhance the mathematical reasoning capabilities of large language models (LLMs). We argue that the data scaling law for math reasoning capabilities in modern LLMs is far from being saturated, highlighting how the model's quality improves with increases in data quantity. To support this claim, we introduce the Skywork-Math model series, supervised fine-tuned (SFT) on common 7B LLMs using our proposed 2.5M-instance Skywork-MathQA dataset. Skywork-Math 7B has achieved impressive accuracies of 51.2% on the competition-level MATH benchmark and 83.9% on the GSM8K benchmark using only SFT data, outperforming an early version of GPT-4 on MATH. The superior performance of Skywork-Math models contributes to our novel two-stage data synthesis and model SFT pipelines, which include three different augmentation methods and a diverse seed problem set, ensuring both the quantity and quality of Skywork-MathQA dataset across varying difficulty levels. Most importantly, we provide several practical takeaways to enhance math reasoning abilities in LLMs for both research and industry applications.