REINFORCE++: Un Approccio Semplice ed Efficiente per Allineare Grandi Modelli Linguistici

REINFORCE++: A Simple and Efficient Approach for Aligning Large Language Models

January 4, 2025

Autori: Jian Hu

cs.AI

Abstract

Il Reinforcement Learning from Human Feedback (RLHF) è emerso come un approccio critico per allineare i grandi modelli linguistici con le preferenze umane, assistendo a una rapida evoluzione algoritmica attraverso metodi come l'ottimizzazione della politica prossimale (PPO), l'ottimizzazione diretta delle preferenze (DPO), REINFORCE Leave One-Out (RLOO), ReMax e l'ottimizzazione della politica relativa di gruppo (GRPO). Presentiamo REINFORCE++, una variante potenziata dell'algoritmo classico REINFORCE che incorpora tecniche chiave di ottimizzazione da PPO eliminando la necessità di una rete critica. REINFORCE++ raggiunge tre obiettivi principali: (1) semplicità, (2) maggiore stabilità durante l'addestramento e (3) riduzione del carico computazionale. Attraverso un'ampia valutazione empirica, dimostriamo che REINFORCE++ mostra una stabilità superiore rispetto a GRPO e raggiunge una maggiore efficienza computazionale rispetto a PPO pur mantenendo prestazioni comparabili. L'implementazione è disponibile su https://github.com/OpenRLHF/OpenRLHF.

English

Reinforcement Learning from Human Feedback (RLHF) has emerged as a critical approach for aligning large language models with human preferences, witnessing rapid algorithmic evolution through methods such as Proximal Policy Optimization (PPO), Direct Preference Optimization (DPO), REINFORCE Leave One-Out (RLOO), ReMax, and Group Relative Policy Optimization (GRPO). We present REINFORCE++, an enhanced variant of the classical REINFORCE algorithm that incorporates key optimization techniques from PPO while eliminating the need for a critic network. REINFORCE++ achieves three primary objectives: (1) simplicity (2) enhanced training stability, and (3) reduced computational overhead. Through extensive empirical evaluation, we demonstrate that REINFORCE++ exhibits superior stability compared to GRPO and achieves greater computational efficiency than PPO while maintaining comparable performance. The implementation is available at https://github.com/OpenRLHF/OpenRLHF.