Skalengesetze für die Überoptimierung von Belohnungsmodellen in direkten Ausrichtungsalgorithmen

Scaling Laws for Reward Model Overoptimization in Direct Alignment Algorithms

June 5, 2024

Autoren: Rafael Rafailov, Yaswanth Chittepu, Ryan Park, Harshit Sikchi, Joey Hejna, Bradley Knox, Chelsea Finn, Scott Niekum

cs.AI

Zusammenfassung

Das Lernen durch Verstärkung aus menschlichem Feedback (RLHF) war entscheidend für den jüngsten Erfolg großer Sprachmodelle (LLMs), ist jedoch oft ein komplexer und anfälliger Prozess. Im klassischen RLHF-Framework wird zunächst ein Belohnungsmodell trainiert, um menschliche Präferenzen darzustellen, das wiederum von einem Online-Verstärkungslernalgorithmus verwendet wird, um das LLM zu optimieren. Ein herausragendes Problem bei solchen Methoden ist die Überoptimierung oder das sogenannte "Reward Hacking", bei dem die Leistung gemessen am erlernten Proxy-Belohnungsmodell steigt, die tatsächliche Qualität jedoch stagniert oder sogar abnimmt. Direkte Ausrichtungsalgorithmen (DDAs) wie die direkte Präferenzoptimierung haben sich als Alternativen zum klassischen RLHF-Pipeline herausgebildet, indem sie die Phase der Belohnungsmodellierung umgehen. Obwohl DDAs kein separates Proxy-Belohnungsmodell verwenden, neigen sie dennoch häufig zur Verschlechterung durch Überoptimierung. Obwohl das sogenannte "Reward Hacking"-Phänomen für DDAs nicht klar definiert ist, zeigen wir dennoch ähnliche Trends auf: Bei höheren KL-Budgets weisen DAA-Algorithmen ähnliche Degradierungsmuster wie ihre klassischen RLHF-Gegenstücke auf. Insbesondere stellen wir fest, dass DAA-Methoden nicht nur über ein breites Spektrum von KL-Budgets hinweg, sondern oft schon bevor auch nur eine Epoche des Datensatzes abgeschlossen ist, degenerieren. Durch umfangreiche empirische Experimente formuliert und formalisiert diese Arbeit das Problem der Überoptimierung oder des Hackings von Belohnungen für DDAs und untersucht dessen Auswirkungen auf Ziele, Trainingsregime und Modellgrößen.

English

Reinforcement Learning from Human Feedback (RLHF) has been crucial to the recent success of Large Language Models (LLMs), however, it is often a complex and brittle process. In the classical RLHF framework, a reward model is first trained to represent human preferences, which is in turn used by an online reinforcement learning (RL) algorithm to optimize the LLM. A prominent issue with such methods is reward over-optimization or reward hacking, where performance as measured by the learned proxy reward model increases, but true quality plateaus or even deteriorates. Direct Alignment Algorithms (DDAs) like Direct Preference Optimization have emerged as alternatives to the classical RLHF pipeline by circumventing the reward modeling phase. However, although DAAs do not use a separate proxy reward model, they still commonly deteriorate from over-optimization. While the so-called reward hacking phenomenon is not well-defined for DAAs, we still uncover similar trends: at higher KL budgets, DAA algorithms exhibit similar degradation patterns to their classic RLHF counterparts. In particular, we find that DAA methods deteriorate not only across a wide range of KL budgets but also often before even a single epoch of the dataset is completed. Through extensive empirical experimentation, this work formulates and formalizes the reward over-optimization or hacking problem for DAAs and explores its consequences across objectives, training regimes, and model scales.