Voorbij Menselijke Data: Schaalbaar Zelf-Training voor Probleemoplossing met Taalmodellen
Beyond Human Data: Scaling Self-Training for Problem-Solving with Language Models
December 11, 2023
Auteurs: Avi Singh, John D. Co-Reyes, Rishabh Agarwal, Ankesh Anand, Piyush Patil, Peter J. Liu, James Harrison, Jaehoon Lee, Kelvin Xu, Aaron Parisi, Abhishek Kumar, Alex Alemi, Alex Rizkowsky, Azade Nova, Ben Adlam, Bernd Bohnet, Hanie Sedghi, Igor Mordatch, Isabelle Simpson, Izzeddin Gur, Jasper Snoek, Jeffrey Pennington, Jiri Hron, Kathleen Kenealy, Kevin Swersky, Kshiteej Mahajan, Laura Culp, Lechao Xiao, Maxwell L. Bileschi, Noah Constant, Roman Novak, Rosanne Liu, Tris Warkentin, Yundi Qian, Ethan Dyer, Behnam Neyshabur, Jascha Sohl-Dickstein, Noah Fiedel
cs.AI
Samenvatting
Het finetunen van taalmodelen (LMs) op door mensen gegenereerde data blijft een gangbare praktijk. De prestaties van dergelijke modellen worden echter vaak beperkt door de hoeveelheid en diversiteit van hoogwaardige menselijke data. In dit artikel onderzoeken we of we verder kunnen gaan dan menselijke data voor taken waarbij we toegang hebben tot scalaire feedback, bijvoorbeeld bij wiskundige problemen waar de juistheid kan worden geverifieerd. Hiervoor onderzoeken we een eenvoudige zelf-trainingsmethode gebaseerd op expectation-maximization, die we ReST^{EM} noemen, waarbij we (1) samples genereren uit het model en deze filteren met behulp van binaire feedback, (2) het model finetunen op deze samples, en (3) dit proces een paar keer herhalen. Door te testen op geavanceerde MATH-redeneer- en APPS-codeerbenchmarks met PaLM-2-modellen, ontdekken we dat ReST^{EM} gunstig schaalt met de grootte van het model en significant beter presteert dan alleen finetunen op menselijke data. Over het algemeen suggereren onze bevindingen dat zelf-training met feedback de afhankelijkheid van door mensen gegenereerde data aanzienlijk kan verminderen.
English
Fine-tuning language models~(LMs) on human-generated data remains a prevalent
practice. However, the performance of such models is often limited by the
quantity and diversity of high-quality human data. In this paper, we explore
whether we can go beyond human data on tasks where we have access to scalar
feedback, for example, on math problems where one can verify correctness. To do
so, we investigate a simple self-training method based on
expectation-maximization, which we call ReST^{EM}, where we (1) generate
samples from the model and filter them using binary feedback, (2) fine-tune the
model on these samples, and (3) repeat this process a few times. Testing on
advanced MATH reasoning and APPS coding benchmarks using PaLM-2 models, we find
that ReST^{EM} scales favorably with model size and significantly surpasses
fine-tuning only on human data. Overall, our findings suggest self-training
with feedback can substantially reduce dependence on human-generated data.