Leis de Escalonamento para Superotimização de Modelos de Recompensa em Algoritmos de Alinhamento Direto

Scaling Laws for Reward Model Overoptimization in Direct Alignment Algorithms

June 5, 2024

Autores: Rafael Rafailov, Yaswanth Chittepu, Ryan Park, Harshit Sikchi, Joey Hejna, Bradley Knox, Chelsea Finn, Scott Niekum

cs.AI

Resumo

O Aprendizado por Reforço com Feedback Humano (RLHF) tem sido crucial para o sucesso recente dos Modelos de Linguagem de Grande Escala (LLMs), no entanto, é frequentemente um processo complexo e frágil. No framework clássico de RLHF, um modelo de recompensa é primeiro treinado para representar as preferências humanas, que por sua vez é utilizado por um algoritmo de aprendizado por reforço (RL) online para otimizar o LLM. Um problema proeminente com tais métodos é a superotimização ou manipulação da recompensa, onde o desempenho medido pelo modelo de recompensa aprendido aumenta, mas a qualidade verdadeira estagna ou até mesmo se deteriora. Algoritmos de Alinhamento Direto (DAAs), como a Otimização Direta de Preferências, surgiram como alternativas ao pipeline clássico de RLHF, contornando a fase de modelagem de recompensa. No entanto, embora os DAAs não utilizem um modelo de recompensa proxy separado, eles ainda comumente se deterioram devido à superotimização. Embora o fenômeno chamado de manipulação da recompensa não seja bem definido para DAAs, ainda descobrimos tendências semelhantes: em orçamentos de KL mais altos, os algoritmos DAA exibem padrões de degradação semelhantes aos seus equivalentes clássicos de RLHF. Em particular, descobrimos que os métodos DAA se deterioram não apenas em uma ampla gama de orçamentos de KL, mas também frequentemente antes mesmo que uma única época do conjunto de dados seja concluída. Através de extensa experimentação empírica, este trabalho formula e formaliza o problema de superotimização ou manipulação da recompensa para DAAs e explora suas consequências em diferentes objetivos, regimes de treinamento e escalas de modelos.

English

Reinforcement Learning from Human Feedback (RLHF) has been crucial to the recent success of Large Language Models (LLMs), however, it is often a complex and brittle process. In the classical RLHF framework, a reward model is first trained to represent human preferences, which is in turn used by an online reinforcement learning (RL) algorithm to optimize the LLM. A prominent issue with such methods is reward over-optimization or reward hacking, where performance as measured by the learned proxy reward model increases, but true quality plateaus or even deteriorates. Direct Alignment Algorithms (DDAs) like Direct Preference Optimization have emerged as alternatives to the classical RLHF pipeline by circumventing the reward modeling phase. However, although DAAs do not use a separate proxy reward model, they still commonly deteriorate from over-optimization. While the so-called reward hacking phenomenon is not well-defined for DAAs, we still uncover similar trends: at higher KL budgets, DAA algorithms exhibit similar degradation patterns to their classic RLHF counterparts. In particular, we find that DAA methods deteriorate not only across a wide range of KL budgets but also often before even a single epoch of the dataset is completed. Through extensive empirical experimentation, this work formulates and formalizes the reward over-optimization or hacking problem for DAAs and explores its consequences across objectives, training regimes, and model scales.