REINFORCE++: Een eenvoudige en efficiënte aanpak voor het afstemmen van grote taalmodellen

REINFORCE++: A Simple and Efficient Approach for Aligning Large Language Models

January 4, 2025

Auteurs: Jian Hu

cs.AI

Samenvatting

Reinforcement Learning from Human Feedback (RLHF) is opgekomen als een kritieke benadering voor het afstemmen van grote taalmodellen op menselijke voorkeuren, waarbij een snelle algoritmische evolutie wordt waargenomen door methoden zoals Proximal Policy Optimization (PPO), Direct Preference Optimization (DPO), REINFORCE Leave One-Out (RLOO), ReMax, en Group Relative Policy Optimization (GRPO). We presenteren REINFORCE++, een verbeterde variant van het klassieke REINFORCE-algoritme dat belangrijke optimalisatietechnieken van PPO incorporeert terwijl de noodzaak voor een criticusnetwerk wordt geëlimineerd. REINFORCE++ bereikt drie primaire doelstellingen: (1) eenvoud, (2) verbeterde trainingsstabiliteit, en (3) verminderde computationele overhead. Door uitgebreide empirische evaluatie tonen we aan dat REINFORCE++ superieure stabiliteit vertoont in vergelijking met GRPO en een grotere computationele efficiëntie behaalt dan PPO, terwijl het vergelijkbare prestaties behoudt. De implementatie is beschikbaar op https://github.com/OpenRLHF/OpenRLHF.

English

Reinforcement Learning from Human Feedback (RLHF) has emerged as a critical approach for aligning large language models with human preferences, witnessing rapid algorithmic evolution through methods such as Proximal Policy Optimization (PPO), Direct Preference Optimization (DPO), REINFORCE Leave One-Out (RLOO), ReMax, and Group Relative Policy Optimization (GRPO). We present REINFORCE++, an enhanced variant of the classical REINFORCE algorithm that incorporates key optimization techniques from PPO while eliminating the need for a critic network. REINFORCE++ achieves three primary objectives: (1) simplicity (2) enhanced training stability, and (3) reduced computational overhead. Through extensive empirical evaluation, we demonstrate that REINFORCE++ exhibits superior stability compared to GRPO and achieves greater computational efficiency than PPO while maintaining comparable performance. The implementation is available at https://github.com/OpenRLHF/OpenRLHF.