Jenseits menschlicher Daten: Skalierung des Selbsttrainings für Problemlösung mit Sprachmodellen

Beyond Human Data: Scaling Self-Training for Problem-Solving with Language Models

December 11, 2023

Autoren: Avi Singh, John D. Co-Reyes, Rishabh Agarwal, Ankesh Anand, Piyush Patil, Peter J. Liu, James Harrison, Jaehoon Lee, Kelvin Xu, Aaron Parisi, Abhishek Kumar, Alex Alemi, Alex Rizkowsky, Azade Nova, Ben Adlam, Bernd Bohnet, Hanie Sedghi, Igor Mordatch, Isabelle Simpson, Izzeddin Gur, Jasper Snoek, Jeffrey Pennington, Jiri Hron, Kathleen Kenealy, Kevin Swersky, Kshiteej Mahajan, Laura Culp, Lechao Xiao, Maxwell L. Bileschi, Noah Constant, Roman Novak, Rosanne Liu, Tris Warkentin, Yundi Qian, Ethan Dyer, Behnam Neyshabur, Jascha Sohl-Dickstein, Noah Fiedel

cs.AI

Zusammenfassung

Das Feinabstimmen von Sprachmodellen (LMs) anhand von menschengenerierten Daten bleibt eine weit verbreitete Praxis. Die Leistung solcher Modelle wird jedoch oft durch die Menge und Vielfalt hochwertiger menschlicher Daten begrenzt. In diesem Artikel untersuchen wir, ob wir über menschliche Daten hinausgehen können, wenn wir Zugang zu skalarem Feedback haben, beispielsweise bei mathematischen Problemen, bei denen die Korrektheit überprüft werden kann. Dazu untersuchen wir eine einfache Selbsttrainingsmethode basierend auf dem Expectation-Maximization-Algorithmus, die wir ReST^{EM} nennen, bei der wir (1) Stichproben aus dem Modell generieren und sie mithilfe von binärem Feedback filtern, (2) das Modell anhand dieser Stichproben feinabstimmen und (3) diesen Prozess einige Male wiederholen. Bei Tests mit fortgeschrittenen MATH-Reasoning- und APPS-Coding-Benchmarks unter Verwendung von PaLM-2-Modellen stellen wir fest, dass ReST^{EM} mit zunehmender Modellgröße günstig skaliert und das Feinabstimmen ausschließlich anhand menschlicher Daten deutlich übertrifft. Insgesamt deuten unsere Ergebnisse darauf hin, dass Selbsttraining mit Feedback die Abhängigkeit von menschengenerierten Daten erheblich verringern kann.

English

Fine-tuning language models~(LMs) on human-generated data remains a prevalent practice. However, the performance of such models is often limited by the quantity and diversity of high-quality human data. In this paper, we explore whether we can go beyond human data on tasks where we have access to scalar feedback, for example, on math problems where one can verify correctness. To do so, we investigate a simple self-training method based on expectation-maximization, which we call ReST^{EM}, where we (1) generate samples from the model and filter them using binary feedback, (2) fine-tune the model on these samples, and (3) repeat this process a few times. Testing on advanced MATH reasoning and APPS coding benchmarks using PaLM-2 models, we find that ReST^{EM} scales favorably with model size and significantly surpasses fine-tuning only on human data. Overall, our findings suggest self-training with feedback can substantially reduce dependence on human-generated data.