RLHF Efficiente: Riduzione dell'Utilizzo della Memoria in PPO
Efficient RLHF: Reducing the Memory Usage of PPO
September 1, 2023
Autori: Michael Santacroce, Yadong Lu, Han Yu, Yuanzhi Li, Yelong Shen
cs.AI
Abstract
Il Reinforcement Learning con Feedback Umano (RLHF) ha rivoluzionato la modellazione del linguaggio allineando i modelli alle preferenze umane. Tuttavia, la fase di RL, l'ottimizzazione prossimale delle politiche (PPO), richiede oltre 3 volte la memoria del Fine-Tuning Supervisionato (SFT), rendendola impraticabile per la maggior parte dei professionisti. Per affrontare questo problema, presentiamo un'analisi completa dell'uso della memoria, delle prestazioni e del tempo di addestramento delle tecniche di risparmio di memoria per PPO. Introduciamo Hydra-RLHF integrando prima i modelli SFT e di ricompensa e poi disattivando dinamicamente LoRA durante l'addestramento. I nostri esperimenti dimostrano: 1. L'uso di LoRA durante PPO riduce il suo utilizzo di memoria a livelli inferiori rispetto a SFT, migliorando l'allineamento su quattro benchmark pubblici, e 2. Hydra-PPO riduce la latenza per campione di LoRA-PPO fino al 65% mantenendo le sue prestazioni. I nostri risultati dimostrano che Hydra-PPO è una soluzione semplice e promettente per favorire un utilizzo più diffuso di RLHF.
English
Reinforcement Learning with Human Feedback (RLHF) has revolutionized language
modeling by aligning models with human preferences. However, the RL stage,
Proximal Policy Optimization (PPO), requires over 3x the memory of Supervised
Fine-Tuning (SFT), making it infeasible to use for most practitioners. To
address this issue, we present a comprehensive analysis the memory usage,
performance, and training time of memory-savings techniques for PPO. We
introduce Hydra-RLHF by first integrating the SFT and Reward models and then
dynamically turning LoRA "off" during training. Our experiments show: 1. Using
LoRA during PPO reduces its memory usage to be smaller than SFT while improving
alignment across four public benchmarks, and 2. Hydra-PPO reduces the latency
per sample of LoRA-PPO by up to 65% while maintaining its performance. Our
results demonstrate that Hydra-PPO is a simple and promising solution for
enabling more widespread usage of RLHF.