REINFORCE++: Простой и эффективный подход для выравнивания больших языковых моделей

REINFORCE++: A Simple and Efficient Approach for Aligning Large Language Models

January 4, 2025

Авторы: Jian Hu

cs.AI

Аннотация

Обучение с подкреплением на основе обратной связи от человека (RLHF) стало критическим подходом для согласования больших языковых моделей с предпочтениями людей, наблюдая быструю эволюцию алгоритмов через методы, такие как Проксимальная оптимизация политики (PPO), Прямая оптимизация предпочтений (DPO), REINFORCE Leave One-Out (RLOO), ReMax и Относительная оптимизация политики группы (GRPO). Мы представляем REINFORCE++, улучшенную вариацию классического алгоритма REINFORCE, которая включает ключевые методы оптимизации из PPO, устраняя при этом необходимость в сети критика. REINFORCE++ достигает трех основных целей: (1) простота, (2) улучшенная стабильность обучения и (3) снижение вычислительной нагрузки. Через обширное эмпирическое оценивание мы демонстрируем, что REINFORCE++ обладает более высокой стабильностью по сравнению с GRPO и достигает большей вычислительной эффективности, чем PPO, сохраняя при этом сопоставимую производительность. Реализация доступна по ссылке https://github.com/OpenRLHF/OpenRLHF.

English

Reinforcement Learning from Human Feedback (RLHF) has emerged as a critical approach for aligning large language models with human preferences, witnessing rapid algorithmic evolution through methods such as Proximal Policy Optimization (PPO), Direct Preference Optimization (DPO), REINFORCE Leave One-Out (RLOO), ReMax, and Group Relative Policy Optimization (GRPO). We present REINFORCE++, an enhanced variant of the classical REINFORCE algorithm that incorporates key optimization techniques from PPO while eliminating the need for a critic network. REINFORCE++ achieves three primary objectives: (1) simplicity (2) enhanced training stability, and (3) reduced computational overhead. Through extensive empirical evaluation, we demonstrate that REINFORCE++ exhibits superior stability compared to GRPO and achieves greater computational efficiency than PPO while maintaining comparable performance. The implementation is available at https://github.com/OpenRLHF/OpenRLHF.