Oltre i Dati Umani: Scalabilità dell'Addestramento Autonomo per la Risoluzione di Problemi con Modelli Linguistici
Beyond Human Data: Scaling Self-Training for Problem-Solving with Language Models
December 11, 2023
Autori: Avi Singh, John D. Co-Reyes, Rishabh Agarwal, Ankesh Anand, Piyush Patil, Peter J. Liu, James Harrison, Jaehoon Lee, Kelvin Xu, Aaron Parisi, Abhishek Kumar, Alex Alemi, Alex Rizkowsky, Azade Nova, Ben Adlam, Bernd Bohnet, Hanie Sedghi, Igor Mordatch, Isabelle Simpson, Izzeddin Gur, Jasper Snoek, Jeffrey Pennington, Jiri Hron, Kathleen Kenealy, Kevin Swersky, Kshiteej Mahajan, Laura Culp, Lechao Xiao, Maxwell L. Bileschi, Noah Constant, Roman Novak, Rosanne Liu, Tris Warkentin, Yundi Qian, Ethan Dyer, Behnam Neyshabur, Jascha Sohl-Dickstein, Noah Fiedel
cs.AI
Abstract
Il fine-tuning dei modelli linguistici (LMs) su dati generati da esseri umani rimane una pratica diffusa. Tuttavia, le prestazioni di tali modelli sono spesso limitate dalla quantità e dalla diversità di dati umani di alta qualità. In questo articolo, esploriamo se sia possibile andare oltre i dati umani in compiti in cui abbiamo accesso a feedback scalare, ad esempio, in problemi di matematica dove è possibile verificare la correttezza. A tal fine, investigiamo un semplice metodo di auto-addestramento basato sull'algoritmo di massimizzazione dell'aspettativa, che chiamiamo ReST^{EM}, in cui (1) generiamo campioni dal modello e li filtriamo utilizzando feedback binari, (2) eseguiamo il fine-tuning del modello su questi campioni e (3) ripetiamo il processo alcune volte. Testando su benchmark avanzati di ragionamento matematico MATH e di codifica APPS utilizzando modelli PaLM-2, scopriamo che ReST^{EM} scala favorevolmente con la dimensione del modello e supera significativamente il fine-tuning eseguito solo su dati umani. Nel complesso, i nostri risultati suggeriscono che l'auto-addestramento con feedback può ridurre sostanzialmente la dipendenza dai dati generati da esseri umani.
English
Fine-tuning language models~(LMs) on human-generated data remains a prevalent
practice. However, the performance of such models is often limited by the
quantity and diversity of high-quality human data. In this paper, we explore
whether we can go beyond human data on tasks where we have access to scalar
feedback, for example, on math problems where one can verify correctness. To do
so, we investigate a simple self-training method based on
expectation-maximization, which we call ReST^{EM}, where we (1) generate
samples from the model and filter them using binary feedback, (2) fine-tune the
model on these samples, and (3) repeat this process a few times. Testing on
advanced MATH reasoning and APPS coding benchmarks using PaLM-2 models, we find
that ReST^{EM} scales favorably with model size and significantly surpasses
fine-tuning only on human data. Overall, our findings suggest self-training
with feedback can substantially reduce dependence on human-generated data.