Más allá de los datos humanos: Escalando el autoaprendizaje para la resolución de problemas con modelos de lenguaje
Beyond Human Data: Scaling Self-Training for Problem-Solving with Language Models
December 11, 2023
Autores: Avi Singh, John D. Co-Reyes, Rishabh Agarwal, Ankesh Anand, Piyush Patil, Peter J. Liu, James Harrison, Jaehoon Lee, Kelvin Xu, Aaron Parisi, Abhishek Kumar, Alex Alemi, Alex Rizkowsky, Azade Nova, Ben Adlam, Bernd Bohnet, Hanie Sedghi, Igor Mordatch, Isabelle Simpson, Izzeddin Gur, Jasper Snoek, Jeffrey Pennington, Jiri Hron, Kathleen Kenealy, Kevin Swersky, Kshiteej Mahajan, Laura Culp, Lechao Xiao, Maxwell L. Bileschi, Noah Constant, Roman Novak, Rosanne Liu, Tris Warkentin, Yundi Qian, Ethan Dyer, Behnam Neyshabur, Jascha Sohl-Dickstein, Noah Fiedel
cs.AI
Resumen
El ajuste fino de modelos de lenguaje~(LMs) en datos generados por humanos sigue siendo una práctica predominante. Sin embargo, el rendimiento de dichos modelos a menudo se ve limitado por la cantidad y diversidad de datos humanos de alta calidad. En este artículo, exploramos si podemos ir más allá de los datos humanos en tareas donde tenemos acceso a retroalimentación escalar, por ejemplo, en problemas matemáticos donde se puede verificar la corrección. Para ello, investigamos un método simple de autoentrenamiento basado en maximización de expectativas, que denominamos ReST^{EM}, donde (1) generamos muestras del modelo y las filtramos utilizando retroalimentación binaria, (2) ajustamos el modelo en estas muestras, y (3) repetimos este proceso varias veces. Al evaluar en puntos de referencia avanzados de razonamiento matemático (MATH) y codificación (APPS) utilizando modelos PaLM-2, encontramos que ReST^{EM} escala favorablemente con el tamaño del modelo y supera significativamente el ajuste fino realizado únicamente con datos humanos. En general, nuestros hallazgos sugieren que el autoentrenamiento con retroalimentación puede reducir sustancialmente la dependencia de los datos generados por humanos.
English
Fine-tuning language models~(LMs) on human-generated data remains a prevalent
practice. However, the performance of such models is often limited by the
quantity and diversity of high-quality human data. In this paper, we explore
whether we can go beyond human data on tasks where we have access to scalar
feedback, for example, on math problems where one can verify correctness. To do
so, we investigate a simple self-training method based on
expectation-maximization, which we call ReST^{EM}, where we (1) generate
samples from the model and filter them using binary feedback, (2) fine-tune the
model on these samples, and (3) repeat this process a few times. Testing on
advanced MATH reasoning and APPS coding benchmarks using PaLM-2 models, we find
that ReST^{EM} scales favorably with model size and significantly surpasses
fine-tuning only on human data. Overall, our findings suggest self-training
with feedback can substantially reduce dependence on human-generated data.