Stabilizzazione del RLHF attraverso il Modello di Vantaggio e il Ripasso Selettivo

Stabilizing RLHF through Advantage Model and Selective Rehearsal

September 18, 2023

Autori: Baolin Peng, Linfeng Song, Ye Tian, Lifeng Jin, Haitao Mi, Dong Yu

cs.AI

Abstract

I Large Language Model (LLM) hanno rivoluzionato l'elaborazione del linguaggio naturale, ma allineare questi modelli ai valori e alle preferenze umane utilizzando il Reinforcement Learning from Human Feedback (RLHF) rimane una sfida significativa. Questa sfida è caratterizzata da varie instabilità, come il reward hacking e la dimenticanza catastrofica. In questo rapporto tecnico, proponiamo due innovazioni per stabilizzare l'addestramento RLHF: 1) l'Advantage Model, che modella direttamente il punteggio di vantaggio, ovvero la ricompensa aggiuntiva rispetto alle ricompense attese, e regola le distribuzioni dei punteggi tra i compiti per prevenire il reward hacking; 2) il Selective Rehearsal, che mitiga la dimenticanza catastrofica selezionando strategicamente i dati per l'addestramento PPO e il ripasso delle conoscenze. La nostra analisi sperimentale su dataset pubblici e proprietari rivela che i metodi proposti non solo aumentano la stabilità nell'addestramento RLHF, ma raggiungono anche punteggi di ricompensa e tassi di vittoria più elevati.

English

Large Language Models (LLMs) have revolutionized natural language processing, yet aligning these models with human values and preferences using RLHF remains a significant challenge. This challenge is characterized by various instabilities, such as reward hacking and catastrophic forgetting. In this technical report, we propose two innovations to stabilize RLHF training: 1) Advantage Model, which directly models advantage score i.e., extra reward compared to the expected rewards and regulates score distributions across tasks to prevent reward hacking. 2) Selective Rehearsal, which mitigates catastrophic forgetting by strategically selecting data for PPO training and knowledge rehearsing. Our experimental analysis on public and proprietary datasets reveals that the proposed methods not only increase stability in RLHF training but also achieve higher reward scores and win rates.