Schaalwetten voor overoptimalisatie van beloningsmodellen in directe afstemmingsalgoritmen

Samenvatting

Reinforcement Learning from Human Feedback (RLHF) is cruciaal geweest voor het recente succes van Large Language Models (LLM's), maar het is vaak een complex en kwetsbaar proces. In het klassieke RLHF-raamwerk wordt eerst een beloningsmodel getraind om menselijke voorkeuren te representeren, dat vervolgens wordt gebruikt door een online reinforcement learning (RL)-algoritme om het LLM te optimaliseren. Een prominent probleem bij dergelijke methoden is beloningsoveroptimalisatie of beloningshacking, waarbij de prestaties zoals gemeten door het geleerde proxy-beloningsmodel toenemen, maar de werkelijke kwaliteit stagneert of zelfs verslechtert. Direct Alignment Algorithms (DAA's) zoals Direct Preference Optimization zijn ontstaan als alternatieven voor de klassieke RLHF-pipeline door de beloningsmodelleringsfase te omzeilen. Hoewel DAA's geen apart proxy-beloningsmodel gebruiken, verslechteren ze echter nog steeds door overoptimalisatie. Hoewel het zogenaamde beloningshacking-fenomeen niet goed gedefinieerd is voor DAA's, ontdekken we toch vergelijkbare trends: bij hogere KL-budgets vertonen DAA-algoritmen vergelijkbare degradatiepatronen als hun klassieke RLHF-tegenhangers. In het bijzonder vinden we dat DAA-methoden niet alleen verslechteren over een breed scala aan KL-budgets, maar ook vaak al voordat zelfs maar één epoch van de dataset is voltooid. Door uitgebreid empirisch onderzoek formuleert en formaliseert dit werk het probleem van beloningsoveroptimalisatie of hacking voor DAA's en onderzoekt het de gevolgen ervan over verschillende doelstellingen, trainingsregimes en modelschalen.

English

Reinforcement Learning from Human Feedback (RLHF) has been crucial to the recent success of Large Language Models (LLMs), however, it is often a complex and brittle process. In the classical RLHF framework, a reward model is first trained to represent human preferences, which is in turn used by an online reinforcement learning (RL) algorithm to optimize the LLM. A prominent issue with such methods is reward over-optimization or reward hacking, where performance as measured by the learned proxy reward model increases, but true quality plateaus or even deteriorates. Direct Alignment Algorithms (DDAs) like Direct Preference Optimization have emerged as alternatives to the classical RLHF pipeline by circumventing the reward modeling phase. However, although DAAs do not use a separate proxy reward model, they still commonly deteriorate from over-optimization. While the so-called reward hacking phenomenon is not well-defined for DAAs, we still uncover similar trends: at higher KL budgets, DAA algorithms exhibit similar degradation patterns to their classic RLHF counterparts. In particular, we find that DAA methods deteriorate not only across a wide range of KL budgets but also often before even a single epoch of the dataset is completed. Through extensive empirical experimentation, this work formulates and formalizes the reward over-optimization or hacking problem for DAAs and explores its consequences across objectives, training regimes, and model scales.

Schaalwetten voor overoptimalisatie van beloningsmodellen in directe afstemmingsalgoritmen

Scaling Laws for Reward Model Overoptimization in Direct Alignment Algorithms

Samenvatting

Support