Relazione di Scalabilità sull'Apprendimento del Ragionamento Matematico con Modelli Linguistici di Grandi Dimensioni

Scaling Relationship on Learning Mathematical Reasoning with Large Language Models

August 3, 2023

Autori: Zheng Yuan, Hongyi Yuan, Chengpeng Li, Guanting Dong, Chuanqi Tan, Chang Zhou

cs.AI

Abstract

Il ragionamento matematico rappresenta una sfida significativa per i grandi modelli linguistici (LLM), mentre la relazione di scala rispetto alla capacità degli LLM è ancora poco esplorata. In questo articolo, indaghiamo come la perdita durante il pre-training, la quantità di dati supervisionati e la quantità di dati aumentati influenzino le prestazioni di ragionamento di un LLM supervisionato. Scopriamo che la perdita durante il pre-training è un indicatore migliore delle prestazioni del modello rispetto al numero di parametri del modello. Applichiamo il fine-tuning supervisionato (SFT) con diverse quantità di dati supervisionati e troviamo empiricamente una relazione log-lineare tra la quantità di dati e le prestazioni del modello, osservando che i modelli migliori traggono meno vantaggio dall'aumento dei dataset supervisionati. Per aumentare il numero di campioni di dati e migliorare le prestazioni del modello senza alcuno sforzo umano, proponiamo di applicare il Fine-Tuning con Campionamento di Rifiuto (RFT). L'RFT utilizza modelli supervisionati per generare e raccogliere percorsi di ragionamento corretti come dataset aumentati per il fine-tuning. Troviamo che, con campioni aumentati contenenti percorsi di ragionamento più distinti, l'RFT migliora maggiormente le prestazioni di ragionamento matematico degli LLM. Inoltre, scopriamo che l'RFT apporta maggiori miglioramenti per gli LLM meno performanti. Infine, combiniamo i campioni di rifiuto provenienti da più modelli, portando LLaMA-7B a un'accuratezza del 49,3%, superando significativamente l'accuratezza del fine-tuning supervisionato (SFT) del 35,9%.

English

Mathematical reasoning is a challenging task for large language models (LLMs), while the scaling relationship of it with respect to LLM capacity is under-explored. In this paper, we investigate how the pre-training loss, supervised data amount, and augmented data amount influence the reasoning performances of a supervised LLM. We find that pre-training loss is a better indicator of the model's performance than the model's parameter count. We apply supervised fine-tuning (SFT) with different amounts of supervised data and empirically find a log-linear relation between data amount and model performance, and we find better models improve less with enlarged supervised datasets. To augment more data samples for improving model performances without any human effort, we propose to apply Rejection sampling Fine-Tuning (RFT). RFT uses supervised models to generate and collect correct reasoning paths as augmented fine-tuning datasets. We find with augmented samples containing more distinct reasoning paths, RFT improves mathematical reasoning performance more for LLMs. We also find RFT brings more improvement for less performant LLMs. Furthermore, we combine rejection samples from multiple models which push LLaMA-7B to an accuracy of 49.3% and outperforms the supervised fine-tuning (SFT) accuracy of 35.9% significantly.