Relação de Escalabilidade no Aprendizado de Raciocínio Matemático com Modelos de Linguagem de Grande Porte

Scaling Relationship on Learning Mathematical Reasoning with Large Language Models

August 3, 2023

Autores: Zheng Yuan, Hongyi Yuan, Chengpeng Li, Guanting Dong, Chuanqi Tan, Chang Zhou

cs.AI

Resumo

O raciocínio matemático é uma tarefa desafiadora para grandes modelos de linguagem (LLMs), enquanto a relação de escalonamento em relação à capacidade dos LLMs é pouco explorada. Neste artigo, investigamos como a perda no pré-treinamento, a quantidade de dados supervisionados e a quantidade de dados aumentados influenciam o desempenho de raciocínio de um LLM supervisionado. Descobrimos que a perda no pré-treinamento é um indicador melhor do desempenho do modelo do que a contagem de parâmetros do modelo. Aplicamos o ajuste fino supervisionado (SFT) com diferentes quantidades de dados supervisionados e encontramos empiricamente uma relação log-linear entre a quantidade de dados e o desempenho do modelo, e observamos que modelos melhores melhoram menos com conjuntos de dados supervisionados ampliados. Para aumentar mais amostras de dados e melhorar o desempenho dos modelos sem qualquer esforço humano, propomos aplicar o Ajuste Fino com Amostragem por Rejeição (RFT). O RFT usa modelos supervisionados para gerar e coletar caminhos de raciocínio corretos como conjuntos de dados aumentados para ajuste fino. Descobrimos que, com amostras aumentadas contendo mais caminhos de raciocínio distintos, o RFT melhora mais o desempenho de raciocínio matemático para LLMs. Também observamos que o RFT traz mais melhorias para LLMs menos performáticos. Além disso, combinamos amostras de rejeição de múltiplos modelos, o que eleva a precisão do LLaMA-7B para 49,3% e supera significativamente a precisão de 35,9% do ajuste fino supervisionado (SFT).

English

Mathematical reasoning is a challenging task for large language models (LLMs), while the scaling relationship of it with respect to LLM capacity is under-explored. In this paper, we investigate how the pre-training loss, supervised data amount, and augmented data amount influence the reasoning performances of a supervised LLM. We find that pre-training loss is a better indicator of the model's performance than the model's parameter count. We apply supervised fine-tuning (SFT) with different amounts of supervised data and empirically find a log-linear relation between data amount and model performance, and we find better models improve less with enlarged supervised datasets. To augment more data samples for improving model performances without any human effort, we propose to apply Rejection sampling Fine-Tuning (RFT). RFT uses supervised models to generate and collect correct reasoning paths as augmented fine-tuning datasets. We find with augmented samples containing more distinct reasoning paths, RFT improves mathematical reasoning performance more for LLMs. We also find RFT brings more improvement for less performant LLMs. Furthermore, we combine rejection samples from multiple models which push LLaMA-7B to an accuracy of 49.3% and outperforms the supervised fine-tuning (SFT) accuracy of 35.9% significantly.