Relation d'échelle dans l'apprentissage du raisonnement mathématique avec les grands modèles de langage

Scaling Relationship on Learning Mathematical Reasoning with Large Language Models

August 3, 2023

Auteurs: Zheng Yuan, Hongyi Yuan, Chengpeng Li, Guanting Dong, Chuanqi Tan, Chang Zhou

cs.AI

Résumé

Le raisonnement mathématique constitue une tâche difficile pour les grands modèles de langage (LLMs), tandis que la relation d'échelle de cette capacité par rapport à la taille des LLMs reste peu explorée. Dans cet article, nous étudions comment la perte lors du pré-entraînement, la quantité de données supervisées et la quantité de données augmentées influencent les performances de raisonnement d'un LLM supervisé. Nous constatons que la perte lors du pré-entraînement est un meilleur indicateur des performances du modèle que le nombre de paramètres de ce dernier. Nous appliquons un ajustement fin supervisé (SFT) avec différentes quantités de données supervisées et trouvons empiriquement une relation log-linéaire entre la quantité de données et les performances du modèle, et nous observons que les meilleurs modèles s'améliorent moins avec des ensembles de données supervisées élargis. Pour augmenter le nombre d'échantillons de données afin d'améliorer les performances des modèles sans effort humain, nous proposons d'appliquer l'ajustement fin par échantillonnage de rejet (RFT). Le RFT utilise des modèles supervisés pour générer et collecter des chemins de raisonnement corrects comme ensembles de données d'ajustement fin augmentés. Nous constatons qu'avec des échantillons augmentés contenant des chemins de raisonnement plus distincts, le RFT améliore davantage les performances en raisonnement mathématique pour les LLMs. Nous observons également que le RFT apporte plus d'amélioration pour les LLMs moins performants. De plus, nous combinons des échantillons de rejet provenant de plusieurs modèles, ce qui permet à LLaMA-7B d'atteindre une précision de 49,3 %, surpassant significativement la précision de 35,9 % obtenue par l'ajustement fin supervisé (SFT).

English

Mathematical reasoning is a challenging task for large language models (LLMs), while the scaling relationship of it with respect to LLM capacity is under-explored. In this paper, we investigate how the pre-training loss, supervised data amount, and augmented data amount influence the reasoning performances of a supervised LLM. We find that pre-training loss is a better indicator of the model's performance than the model's parameter count. We apply supervised fine-tuning (SFT) with different amounts of supervised data and empirically find a log-linear relation between data amount and model performance, and we find better models improve less with enlarged supervised datasets. To augment more data samples for improving model performances without any human effort, we propose to apply Rejection sampling Fine-Tuning (RFT). RFT uses supervised models to generate and collect correct reasoning paths as augmented fine-tuning datasets. We find with augmented samples containing more distinct reasoning paths, RFT improves mathematical reasoning performance more for LLMs. We also find RFT brings more improvement for less performant LLMs. Furthermore, we combine rejection samples from multiple models which push LLaMA-7B to an accuracy of 49.3% and outperforms the supervised fine-tuning (SFT) accuracy of 35.9% significantly.