Skalierungsbeziehung beim Erlernen mathematischen Denkens mit großen Sprachmodellen

Scaling Relationship on Learning Mathematical Reasoning with Large Language Models

August 3, 2023

Autoren: Zheng Yuan, Hongyi Yuan, Chengpeng Li, Guanting Dong, Chuanqi Tan, Chang Zhou

cs.AI

Zusammenfassung

Mathematisches Denken stellt eine herausfordernde Aufgabe für große Sprachmodelle (LLMs) dar, während die Skalierungsbeziehung in Bezug auf die Kapazität von LLMs bisher wenig erforscht ist. In dieser Arbeit untersuchen wir, wie der Pre-Training-Verlust, die Menge an überwachten Daten und die Menge an augmentierten Daten die Denkleistungen eines überwachten LLMs beeinflussen. Wir stellen fest, dass der Pre-Training-Verlust ein besserer Indikator für die Modellleistung ist als die Anzahl der Modellparameter. Wir wenden überwachtes Feinabstimmen (Supervised Fine-Tuning, SFT) mit unterschiedlichen Mengen an überwachten Daten an und finden empirisch eine log-lineare Beziehung zwischen der Datenmenge und der Modellleistung. Zudem stellen wir fest, dass bessere Modelle weniger von vergrößerten überwachten Datensätzen profitieren. Um mehr Datenproben zur Verbesserung der Modellleistungen ohne menschlichen Aufwand zu augmentieren, schlagen wir die Anwendung von Rejection Sampling Fine-Tuning (RFT) vor. RFT verwendet überwachte Modelle, um korrekte Denkpfade zu generieren und als augmentierte Feinabstimmungsdatensätze zu sammeln. Wir stellen fest, dass RFT die mathematische Denkleistung von LLMs stärker verbessert, wenn die augmentierten Proben mehr unterschiedliche Denkpfade enthalten. Außerdem zeigt sich, dass RFT für weniger leistungsstarke LLMs größere Verbesserungen bringt. Darüber hinaus kombinieren wir Ablehnungsproben mehrerer Modelle, wodurch LLaMA-7B auf eine Genauigkeit von 49,3 % gebracht wird und die SFT-Genauigkeit von 35,9 % deutlich übertrifft.

English

Mathematical reasoning is a challenging task for large language models (LLMs), while the scaling relationship of it with respect to LLM capacity is under-explored. In this paper, we investigate how the pre-training loss, supervised data amount, and augmented data amount influence the reasoning performances of a supervised LLM. We find that pre-training loss is a better indicator of the model's performance than the model's parameter count. We apply supervised fine-tuning (SFT) with different amounts of supervised data and empirically find a log-linear relation between data amount and model performance, and we find better models improve less with enlarged supervised datasets. To augment more data samples for improving model performances without any human effort, we propose to apply Rejection sampling Fine-Tuning (RFT). RFT uses supervised models to generate and collect correct reasoning paths as augmented fine-tuning datasets. We find with augmented samples containing more distinct reasoning paths, RFT improves mathematical reasoning performance more for LLMs. We also find RFT brings more improvement for less performant LLMs. Furthermore, we combine rejection samples from multiple models which push LLaMA-7B to an accuracy of 49.3% and outperforms the supervised fine-tuning (SFT) accuracy of 35.9% significantly.