Além dos Dados Humanos: Escalonando o Auto-Treinamento para Resolução de Problemas com Modelos de Linguagem

Beyond Human Data: Scaling Self-Training for Problem-Solving with Language Models

December 11, 2023

Autores: Avi Singh, John D. Co-Reyes, Rishabh Agarwal, Ankesh Anand, Piyush Patil, Peter J. Liu, James Harrison, Jaehoon Lee, Kelvin Xu, Aaron Parisi, Abhishek Kumar, Alex Alemi, Alex Rizkowsky, Azade Nova, Ben Adlam, Bernd Bohnet, Hanie Sedghi, Igor Mordatch, Isabelle Simpson, Izzeddin Gur, Jasper Snoek, Jeffrey Pennington, Jiri Hron, Kathleen Kenealy, Kevin Swersky, Kshiteej Mahajan, Laura Culp, Lechao Xiao, Maxwell L. Bileschi, Noah Constant, Roman Novak, Rosanne Liu, Tris Warkentin, Yundi Qian, Ethan Dyer, Behnam Neyshabur, Jascha Sohl-Dickstein, Noah Fiedel

cs.AI

Resumo

O ajuste fino de modelos de linguagem (LMs) em dados gerados por humanos continua sendo uma prática prevalente. No entanto, o desempenho desses modelos é frequentemente limitado pela quantidade e diversidade de dados humanos de alta qualidade. Neste artigo, exploramos se podemos ir além dos dados humanos em tarefas onde temos acesso a feedback escalar, por exemplo, em problemas de matemática onde é possível verificar a correção. Para isso, investigamos um método simples de autoaprendizagem baseado em maximização de expectativas, que chamamos de ReST^{EM}, onde (1) geramos amostras a partir do modelo e as filtramos usando feedback binário, (2) ajustamos o modelo nessas amostras e (3) repetimos esse processo algumas vezes. Testando em benchmarks avançados de raciocínio matemático (MATH) e codificação (APPS) usando modelos PaLM-2, descobrimos que o ReST^{EM} escala favoravelmente com o tamanho do modelo e supera significativamente o ajuste fino apenas em dados humanos. No geral, nossos resultados sugerem que o autoaprendizado com feedback pode reduzir substancialmente a dependência de dados gerados por humanos.

English

Fine-tuning language models~(LMs) on human-generated data remains a prevalent practice. However, the performance of such models is often limited by the quantity and diversity of high-quality human data. In this paper, we explore whether we can go beyond human data on tasks where we have access to scalar feedback, for example, on math problems where one can verify correctness. To do so, we investigate a simple self-training method based on expectation-maximization, which we call ReST^{EM}, where we (1) generate samples from the model and filter them using binary feedback, (2) fine-tune the model on these samples, and (3) repeat this process a few times. Testing on advanced MATH reasoning and APPS coding benchmarks using PaLM-2 models, we find that ReST^{EM} scales favorably with model size and significantly surpasses fine-tuning only on human data. Overall, our findings suggest self-training with feedback can substantially reduce dependence on human-generated data.