Leggi di Scalabilità per l'Overottimizzazione del Modello di Ricompensa negli Algoritmi di Allineamento Diretto

Scaling Laws for Reward Model Overoptimization in Direct Alignment Algorithms

June 5, 2024

Autori: Rafael Rafailov, Yaswanth Chittepu, Ryan Park, Harshit Sikchi, Joey Hejna, Bradley Knox, Chelsea Finn, Scott Niekum

cs.AI

Abstract

L'apprendimento per rinforzo basato sul feedback umano (RLHF) è stato cruciale per il recente successo dei modelli linguistici di grandi dimensioni (LLM), tuttavia si tratta spesso di un processo complesso e fragile. Nel classico framework RLHF, un modello di ricompensa viene inizialmente addestrato per rappresentare le preferenze umane, che viene poi utilizzato da un algoritmo di apprendimento per rinforzo (RL) online per ottimizzare l'LLM. Un problema rilevante di tali metodi è l'over-ottimizzazione o il "hacking" della ricompensa, in cui le prestazioni misurate dal modello di ricompensa proxy appreso aumentano, ma la qualità effettiva si stabilizza o addirittura peggiora. Algoritmi di Allineamento Diretto (DAA) come l'ottimizzazione diretta delle preferenze sono emersi come alternative alla pipeline classica RLHF, aggirando la fase di modellazione della ricompensa. Tuttavia, sebbene i DAA non utilizzino un modello di ricompensa proxy separato, spesso peggiorano comunque a causa dell'over-ottimizzazione. Sebbene il fenomeno del cosiddetto "reward hacking" non sia ben definito per i DAA, osserviamo comunque tendenze simili: con budget KL più elevati, gli algoritmi DAA mostrano schemi di degrado simili alle loro controparti classiche RLHF. In particolare, scopriamo che i metodi DAA peggiorano non solo su un'ampia gamma di budget KL, ma spesso anche prima del completamento di una singola epoca del dataset. Attraverso un'ampia sperimentazione empirica, questo lavoro formula e formalizza il problema dell'over-ottimizzazione o del "hacking" della ricompensa per i DAA e ne esplora le conseguenze su obiettivi, regimi di addestramento e scale di modelli.

English

Reinforcement Learning from Human Feedback (RLHF) has been crucial to the recent success of Large Language Models (LLMs), however, it is often a complex and brittle process. In the classical RLHF framework, a reward model is first trained to represent human preferences, which is in turn used by an online reinforcement learning (RL) algorithm to optimize the LLM. A prominent issue with such methods is reward over-optimization or reward hacking, where performance as measured by the learned proxy reward model increases, but true quality plateaus or even deteriorates. Direct Alignment Algorithms (DDAs) like Direct Preference Optimization have emerged as alternatives to the classical RLHF pipeline by circumventing the reward modeling phase. However, although DAAs do not use a separate proxy reward model, they still commonly deteriorate from over-optimization. While the so-called reward hacking phenomenon is not well-defined for DAAs, we still uncover similar trends: at higher KL budgets, DAA algorithms exhibit similar degradation patterns to their classic RLHF counterparts. In particular, we find that DAA methods deteriorate not only across a wide range of KL budgets but also often before even a single epoch of the dataset is completed. Through extensive empirical experimentation, this work formulates and formalizes the reward over-optimization or hacking problem for DAAs and explores its consequences across objectives, training regimes, and model scales.