За пределами человеческих данных: масштабирование самообучения для решения задач с использованием языковых моделей

Beyond Human Data: Scaling Self-Training for Problem-Solving with Language Models

December 11, 2023

Авторы: Avi Singh, John D. Co-Reyes, Rishabh Agarwal, Ankesh Anand, Piyush Patil, Peter J. Liu, James Harrison, Jaehoon Lee, Kelvin Xu, Aaron Parisi, Abhishek Kumar, Alex Alemi, Alex Rizkowsky, Azade Nova, Ben Adlam, Bernd Bohnet, Hanie Sedghi, Igor Mordatch, Isabelle Simpson, Izzeddin Gur, Jasper Snoek, Jeffrey Pennington, Jiri Hron, Kathleen Kenealy, Kevin Swersky, Kshiteej Mahajan, Laura Culp, Lechao Xiao, Maxwell L. Bileschi, Noah Constant, Roman Novak, Rosanne Liu, Tris Warkentin, Yundi Qian, Ethan Dyer, Behnam Neyshabur, Jascha Sohl-Dickstein, Noah Fiedel

cs.AI

Аннотация

Тонкая настройка языковых моделей (LMs) на данных, созданных человеком, остается распространенной практикой. Однако производительность таких моделей часто ограничивается количеством и разнообразием высококачественных человеческих данных. В данной работе мы исследуем, можем ли мы выйти за пределы человеческих данных в задачах, где доступна скалярная обратная связь, например, в математических задачах, где можно проверить правильность решения. Для этого мы изучаем простой метод самообучения, основанный на алгоритме максимизации ожиданий, который мы называем ReST^{EM}, где мы (1) генерируем выборки из модели и фильтруем их с использованием бинарной обратной связи, (2) тонко настраиваем модель на этих выборках и (3) повторяем этот процесс несколько раз. Тестируя на продвинутых бенчмарках для математических рассуждений MATH и программирования APPS с использованием моделей PaLM-2, мы обнаруживаем, что ReST^{EM} масштабируется лучше с увеличением размера модели и значительно превосходит тонкую настройку только на человеческих данных. В целом, наши результаты показывают, что самообучение с обратной связью может существенно снизить зависимость от данных, созданных человеком.

English

Fine-tuning language models~(LMs) on human-generated data remains a prevalent practice. However, the performance of such models is often limited by the quantity and diversity of high-quality human data. In this paper, we explore whether we can go beyond human data on tasks where we have access to scalar feedback, for example, on math problems where one can verify correctness. To do so, we investigate a simple self-training method based on expectation-maximization, which we call ReST^{EM}, where we (1) generate samples from the model and filter them using binary feedback, (2) fine-tune the model on these samples, and (3) repeat this process a few times. Testing on advanced MATH reasoning and APPS coding benchmarks using PaLM-2 models, we find that ReST^{EM} scales favorably with model size and significantly surpasses fine-tuning only on human data. Overall, our findings suggest self-training with feedback can substantially reduce dependence on human-generated data.