Законы масштабирования для переоптимизации модели вознаграждения в алгоритмах прямого выравнивания.

Scaling Laws for Reward Model Overoptimization in Direct Alignment Algorithms

June 5, 2024

Авторы: Rafael Rafailov, Yaswanth Chittepu, Ryan Park, Harshit Sikchi, Joey Hejna, Bradley Knox, Chelsea Finn, Scott Niekum

cs.AI

Аннотация

Обучение с подкреплением на основе обратной связи от человека (RLHF) сыграло ключевую роль в недавних успехах крупных языковых моделей (LLM), однако часто является сложным и хрупким процессом. В классической структуре RLHF сначала обучается модель вознаграждения для представления предпочтений человека, которая затем используется онлайн-алгоритмом обучения с подкреплением (RL) для оптимизации LLM. Одной из основных проблем таких методов является переоптимизация вознаграждения или взлом вознаграждения, когда производительность, измеряемая обученной моделью прокси-вознаграждения, увеличивается, но истинное качество стагнирует или даже ухудшается. Прямые алгоритмы выравнивания (DDA), такие как прямая оптимизация предпочтений, появились как альтернативы классическому конвейеру RLHF путем обхода фазы моделирования вознаграждения. Однако, хотя DDA не используют отдельную модель прокси-вознаграждения, они все равно часто ухудшаются из-за переоптимизации. Хотя явление взлома вознаграждения для DDA не определено четко, мы все равно обнаруживаем аналогичные тенденции: при более высоких бюджетах KL алгоритмы DDA проявляют аналогичные паттерны деградации по сравнению с классическими аналогами RLHF. В частности, мы обнаруживаем, что методы DDA ухудшаются не только в широком диапазоне бюджетов KL, но часто даже до завершения даже одной эпохи набора данных. Через обширные эмпирические эксперименты в данной работе формулируется и формализуется проблема переоптимизации или взлома вознаграждения для DDA и исследуются ее последствия для целей, режимов обучения и масштабов моделей.

English

Reinforcement Learning from Human Feedback (RLHF) has been crucial to the recent success of Large Language Models (LLMs), however, it is often a complex and brittle process. In the classical RLHF framework, a reward model is first trained to represent human preferences, which is in turn used by an online reinforcement learning (RL) algorithm to optimize the LLM. A prominent issue with such methods is reward over-optimization or reward hacking, where performance as measured by the learned proxy reward model increases, but true quality plateaus or even deteriorates. Direct Alignment Algorithms (DDAs) like Direct Preference Optimization have emerged as alternatives to the classical RLHF pipeline by circumventing the reward modeling phase. However, although DAAs do not use a separate proxy reward model, they still commonly deteriorate from over-optimization. While the so-called reward hacking phenomenon is not well-defined for DAAs, we still uncover similar trends: at higher KL budgets, DAA algorithms exhibit similar degradation patterns to their classic RLHF counterparts. In particular, we find that DAA methods deteriorate not only across a wide range of KL budgets but also often before even a single epoch of the dataset is completed. Through extensive empirical experimentation, this work formulates and formalizes the reward over-optimization or hacking problem for DAAs and explores its consequences across objectives, training regimes, and model scales.