Обучение больших языковых моделей рассуждать с помощью обучения с подкреплением
Teaching Large Language Models to Reason with Reinforcement Learning
March 7, 2024
Авторы: Alex Havrilla, Yuqing Du, Sharath Chandra Raparthy, Christoforos Nalmpantis, Jane Dwivedi-Yu, Maksym Zhuravinskyi, Eric Hambro, Sainbayar Sukhbaatar, Roberta Raileanu
cs.AI
Аннотация
Обучение с подкреплением на основе обратной связи от человека (RLHF) стало доминирующим подходом для согласования результатов LLM с предпочтениями человека. Вдохновленные успехом RLHF, мы изучаем производительность нескольких алгоритмов, которые учатся на обратной связи (Expert Iteration, Оптимизация ближней политики (PPO), RL, зависящее от возврата) для улучшения способностей рассуждения LLM. Мы исследуем как разреженные, так и плотные вознаграждения, предоставленные LLM как эвристически, так и с помощью модели обучаемого вознаграждения. Мы также начинаем с нескольких размеров моделей и инициализаций как с обучением с учителем (SFT), так и без него. В целом мы обнаруживаем, что все алгоритмы работают сопоставимо, с Expert Iteration, в большинстве случаев, показывающим лучшие результаты. Удивительно, что сложность выборки Expert Iteration схожа с PPO, требуя в большинстве случаев не более порядка 10^6 выборок для сходимости из предварительной точки контроля. Мы исследуем, почему так происходит, приходя к выводу, что во время обучения RL модели не исследуют значительно за пределами решений, уже созданных моделями SFT. Кроме того, мы обсуждаем компромисс между производительностью метрики maj@1 и pass@96 во время обучения SFT и как, наоборот, обучение RL одновременно улучшает обе. Затем мы заключаем обсуждением последствий наших результатов для RLHF и будущей роли RL в настройке LLM.
English
Reinforcement Learning from Human Feedback (RLHF) has emerged as a
dominant approach for aligning LLM outputs with human preferences. Inspired by
the success of RLHF, we study the performance of multiple algorithms that learn
from feedback (Expert Iteration, Proximal Policy Optimization (PPO),
Return-Conditioned RL) on improving LLM reasoning capabilities. We investigate
both sparse and dense rewards provided to the LLM both heuristically and via a
learned reward model. We additionally start from multiple model sizes and
initializations both with and without supervised fine-tuning (SFT)
data. Overall, we find all algorithms perform comparably, with Expert Iteration
performing best in most cases. Surprisingly, we find the sample complexity of
Expert Iteration is similar to that of PPO, requiring at most on the order of
10^6 samples to converge from a pretrained checkpoint. We investigate why
this is the case, concluding that during RL training models fail to explore
significantly beyond solutions already produced by SFT models. Additionally, we
discuss a trade off between maj@1 and pass@96 metric performance during SFT
training and how conversely RL training improves both simultaneously. We then
conclude by discussing the implications of our findings for RLHF and the future
role of RL in LLM fine-tuning.