Lois d'échelle pour la sur-optimisation des modèles de récompense dans les algorithmes d'alignement direct

Scaling Laws for Reward Model Overoptimization in Direct Alignment Algorithms

June 5, 2024

Auteurs: Rafael Rafailov, Yaswanth Chittepu, Ryan Park, Harshit Sikchi, Joey Hejna, Bradley Knox, Chelsea Finn, Scott Niekum

cs.AI

Résumé

L'apprentissage par renforcement à partir de retours humains (RLHF) a été crucial pour le succès récent des grands modèles de langage (LLMs), mais il s'agit souvent d'un processus complexe et fragile. Dans le cadre classique du RLHF, un modèle de récompense est d'abord entraîné pour représenter les préférences humaines, qui est ensuite utilisé par un algorithme d'apprentissage par renforcement (RL) en ligne pour optimiser le LLM. Un problème majeur avec ces méthodes est la sur-optimisation ou le détournement des récompenses, où la performance mesurée par le modèle de récompense appris augmente, mais la qualité réelle stagne ou même se détériore. Les algorithmes d'alignement direct (DAAs) comme l'optimisation directe des préférences ont émergé comme alternatives au pipeline classique du RLHF en contournant la phase de modélisation des récompenses. Cependant, bien que les DAAs n'utilisent pas de modèle de récompense proxy séparé, ils se détériorent encore souvent à cause de la sur-optimisation. Bien que le phénomène de détournement des récompenses ne soit pas bien défini pour les DAAs, nous observons des tendances similaires : à des budgets KL plus élevés, les algorithmes DAAs présentent des schémas de dégradation similaires à leurs homologues classiques du RLHF. En particulier, nous constatons que les méthodes DAAs se détériorent non seulement sur une large gamme de budgets KL, mais aussi souvent avant même qu'une seule époque du jeu de données ne soit terminée. À travers une expérimentation empirique approfondie, ce travail formule et formalise le problème de sur-optimisation ou de détournement des récompenses pour les DAAs et explore ses conséquences à travers les objectifs, les régimes d'entraînement et les échelles de modèles.

English

Reinforcement Learning from Human Feedback (RLHF) has been crucial to the recent success of Large Language Models (LLMs), however, it is often a complex and brittle process. In the classical RLHF framework, a reward model is first trained to represent human preferences, which is in turn used by an online reinforcement learning (RL) algorithm to optimize the LLM. A prominent issue with such methods is reward over-optimization or reward hacking, where performance as measured by the learned proxy reward model increases, but true quality plateaus or even deteriorates. Direct Alignment Algorithms (DDAs) like Direct Preference Optimization have emerged as alternatives to the classical RLHF pipeline by circumventing the reward modeling phase. However, although DAAs do not use a separate proxy reward model, they still commonly deteriorate from over-optimization. While the so-called reward hacking phenomenon is not well-defined for DAAs, we still uncover similar trends: at higher KL budgets, DAA algorithms exhibit similar degradation patterns to their classic RLHF counterparts. In particular, we find that DAA methods deteriorate not only across a wide range of KL budgets but also often before even a single epoch of the dataset is completed. Through extensive empirical experimentation, this work formulates and formalizes the reward over-optimization or hacking problem for DAAs and explores its consequences across objectives, training regimes, and model scales.