Au-delà des données humaines : Mettre à l'échelle l'auto-apprentissage pour la résolution de problèmes avec des modèles de langage

Beyond Human Data: Scaling Self-Training for Problem-Solving with Language Models

December 11, 2023

Auteurs: Avi Singh, John D. Co-Reyes, Rishabh Agarwal, Ankesh Anand, Piyush Patil, Peter J. Liu, James Harrison, Jaehoon Lee, Kelvin Xu, Aaron Parisi, Abhishek Kumar, Alex Alemi, Alex Rizkowsky, Azade Nova, Ben Adlam, Bernd Bohnet, Hanie Sedghi, Igor Mordatch, Isabelle Simpson, Izzeddin Gur, Jasper Snoek, Jeffrey Pennington, Jiri Hron, Kathleen Kenealy, Kevin Swersky, Kshiteej Mahajan, Laura Culp, Lechao Xiao, Maxwell L. Bileschi, Noah Constant, Roman Novak, Rosanne Liu, Tris Warkentin, Yundi Qian, Ethan Dyer, Behnam Neyshabur, Jascha Sohl-Dickstein, Noah Fiedel

cs.AI

Résumé

L'ajustement fin des modèles de langage (LMs) sur des données générées par des humains reste une pratique courante. Cependant, les performances de ces modèles sont souvent limitées par la quantité et la diversité des données humaines de haute qualité. Dans cet article, nous explorons si nous pouvons aller au-delà des données humaines pour des tâches où nous avons accès à un retour d'information scalaire, par exemple, sur des problèmes de mathématiques où l'on peut vérifier la justesse. Pour ce faire, nous étudions une méthode simple d'auto-apprentissage basée sur l'algorithme d'espérance-maximisation, que nous appelons ReST^{EM}, où nous (1) générons des échantillons à partir du modèle et les filtrons en utilisant un retour d'information binaire, (2) ajustons finement le modèle sur ces échantillons, et (3) répétons ce processus plusieurs fois. En testant sur des benchmarks avancés de raisonnement MATH et de codage APPS en utilisant des modèles PaLM-2, nous constatons que ReST^{EM} évolue favorablement avec la taille du modèle et dépasse significativement l'ajustement fin uniquement sur des données humaines. Globalement, nos résultats suggèrent que l'auto-apprentissage avec retour d'information peut réduire considérablement la dépendance aux données générées par des humains.

English

Fine-tuning language models~(LMs) on human-generated data remains a prevalent practice. However, the performance of such models is often limited by the quantity and diversity of high-quality human data. In this paper, we explore whether we can go beyond human data on tasks where we have access to scalar feedback, for example, on math problems where one can verify correctness. To do so, we investigate a simple self-training method based on expectation-maximization, which we call ReST^{EM}, where we (1) generate samples from the model and filter them using binary feedback, (2) fine-tune the model on these samples, and (3) repeat this process a few times. Testing on advanced MATH reasoning and APPS coding benchmarks using PaLM-2 models, we find that ReST^{EM} scales favorably with model size and significantly surpasses fine-tuning only on human data. Overall, our findings suggest self-training with feedback can substantially reduce dependence on human-generated data.