直接アライメントアルゴリズムにおける報酬モデルの過最適化に関するスケーリング則

Scaling Laws for Reward Model Overoptimization in Direct Alignment Algorithms

June 5, 2024

著者: Rafael Rafailov, Yaswanth Chittepu, Ryan Park, Harshit Sikchi, Joey Hejna, Bradley Knox, Chelsea Finn, Scott Niekum

cs.AI

要旨

人間のフィードバックからの強化学習（RLHF）は、大規模言語モデル（LLM）の最近の成功に不可欠でしたが、しばしば複雑で脆弱なプロセスです。古典的なRLHFフレームワークでは、まず人間の選好を表す報酬モデルが訓練され、それがオンライン強化学習（RL）アルゴリズムによってLLMを最適化するために使用されます。このような方法における顕著な問題は、報酬の過最適化または報酬ハッキングであり、学習された代理報酬モデルによって測定される性能が向上する一方で、真の品質が頭打ちになるか、むしろ悪化する現象です。Direct Preference Optimizationのような直接アライメントアルゴリズム（DAA）は、報酬モデリングの段階を回避することで、古典的なRLHFパイプラインの代替として登場しました。しかし、DAAは別個の代理報酬モデルを使用しないものの、依然として過最適化による悪化が一般的に見られます。DAAにおけるいわゆる報酬ハッキング現象は明確に定義されていませんが、我々は同様の傾向を発見しました：高いKL予算では、DAAアルゴリズムは古典的なRLHFと同様の劣化パターンを示します。特に、DAA手法は広範なKL予算にわたって劣化するだけでなく、データセットの1エポックが完了する前にもしばしば劣化することがわかりました。この研究では、広範な実験を通じて、DAAにおける報酬の過最適化またはハッキング問題を定式化し、その影響を目的、訓練体制、モデル規模にわたって探求します。

English

Reinforcement Learning from Human Feedback (RLHF) has been crucial to the recent success of Large Language Models (LLMs), however, it is often a complex and brittle process. In the classical RLHF framework, a reward model is first trained to represent human preferences, which is in turn used by an online reinforcement learning (RL) algorithm to optimize the LLM. A prominent issue with such methods is reward over-optimization or reward hacking, where performance as measured by the learned proxy reward model increases, but true quality plateaus or even deteriorates. Direct Alignment Algorithms (DDAs) like Direct Preference Optimization have emerged as alternatives to the classical RLHF pipeline by circumventing the reward modeling phase. However, although DAAs do not use a separate proxy reward model, they still commonly deteriorate from over-optimization. While the so-called reward hacking phenomenon is not well-defined for DAAs, we still uncover similar trends: at higher KL budgets, DAA algorithms exhibit similar degradation patterns to their classic RLHF counterparts. In particular, we find that DAA methods deteriorate not only across a wide range of KL budgets but also often before even a single epoch of the dataset is completed. Through extensive empirical experimentation, this work formulates and formalizes the reward over-optimization or hacking problem for DAAs and explores its consequences across objectives, training regimes, and model scales.