Stabilisierung von RLHF durch Advantage-Modell und selektives Rehearsal

Stabilizing RLHF through Advantage Model and Selective Rehearsal

September 18, 2023

Autoren: Baolin Peng, Linfeng Song, Ye Tian, Lifeng Jin, Haitao Mi, Dong Yu

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) haben die natürliche Sprachverarbeitung revolutioniert, doch die Ausrichtung dieser Modelle an menschlichen Werten und Präferenzen mittels Reinforcement Learning from Human Feedback (RLHF) bleibt eine erhebliche Herausforderung. Diese Herausforderung ist durch verschiedene Instabilitäten gekennzeichnet, wie beispielsweise Reward Hacking und katastrophales Vergessen. In diesem technischen Bericht schlagen wir zwei Innovationen zur Stabilisierung des RLHF-Trainings vor: 1) Das Advantage-Modell, das direkt den Vorteilswert modelliert, d.h. die zusätzliche Belohnung im Vergleich zu den erwarteten Belohnungen, und die Bewertungsverteilungen über verschiedene Aufgaben hinweg reguliert, um Reward Hacking zu verhindern. 2) Selektives Rehearsal, das katastrophales Vergessen mildert, indem es strategisch Daten für das PPO-Training und die Wissensauffrischung auswählt. Unsere experimentelle Analyse an öffentlichen und proprietären Datensätzen zeigt, dass die vorgeschlagenen Methoden nicht nur die Stabilität im RLHF-Training erhöhen, sondern auch höhere Belohnungswerte und Gewinnraten erzielen.

English

Large Language Models (LLMs) have revolutionized natural language processing, yet aligning these models with human values and preferences using RLHF remains a significant challenge. This challenge is characterized by various instabilities, such as reward hacking and catastrophic forgetting. In this technical report, we propose two innovations to stabilize RLHF training: 1) Advantage Model, which directly models advantage score i.e., extra reward compared to the expected rewards and regulates score distributions across tasks to prevent reward hacking. 2) Selective Rehearsal, which mitigates catastrophic forgetting by strategically selecting data for PPO training and knowledge rehearsing. Our experimental analysis on public and proprietary datasets reveals that the proposed methods not only increase stability in RLHF training but also achieve higher reward scores and win rates.