ODIN: 分離された報酬がRLHFにおけるハッキングを軽減する
ODIN: Disentangled Reward Mitigates Hacking in RLHF
February 11, 2024
著者: Lichang Chen, Chen Zhu, Davit Soselia, Jiuhai Chen, Tianyi Zhou, Tom Goldstein, Heng Huang, Mohammad Shoeybi, Bryan Catanzaro
cs.AI
要旨
本研究では、大規模言語モデル（LLM）に対する人間のフィードバックを用いた強化学習（RLHF）において生じる課題である、応答長さに対する報酬ハッキングの問題を検討します。LLMから出力される、形式が整っているが冗長で有用性の低い応答は、LLM自体や人間の評価者を欺いて高いスコアを獲得することがしばしばあります。この問題は、RLにおける一部の報酬モデルにも当てはまります。トレーニングと評価の両方における課題に対処するため、我々は異なるトレーニング設定を比較するためのより信頼性の高い評価プロトコルを確立しました。このプロトコルでは、トレーニングのハイパーパラメータを変化させることで得られるLLMの評価スコアと応答長さのトレードオフを検証します。この評価に基づき、大規模な研究を実施し、その結果から、RLにおいて使用されるハイパーパラメータやテクニックが長さバイアスを軽減する効果についての洞察を得ました。さらに、報酬モデルを改善するために、共有された特徴表現に基づいて2つの線形ヘッドを共同でトレーニングし、一方を長さと相関するように、もう一方を長さと無相関にすることで実際の内容に焦点を当てるようにすることを提案します。その後、RLにおいて長さヘッドを破棄し、長さに対する報酬ハッキングを防ぎます。実験結果は、我々のアプローチが長さとの報酬相関をほぼ完全に排除し、得られるポリシーを大幅に改善することを示しています。
English
In this work, we study the issue of reward hacking on the response length, a
challenge emerging in Reinforcement Learning from Human Feedback (RLHF) on
LLMs. A well-formatted, verbose but less helpful response from the LLMs can
often deceive LLMs or even human evaluators to achieve high scores. The same
issue also holds for some reward models in RL. To address the challenges in
both training and evaluation, we establish a more reliable evaluation protocol
for comparing different training configurations, which inspects the trade-off
between LLM evaluation score and response length obtained by varying training
hyperparameters. Based on this evaluation, we conduct large-scale studies,
where the results shed insights into the efficacy of hyperparameters and tricks
used in RL on mitigating length bias. We further propose to improve the reward
model by jointly training two linear heads on shared feature representations to
predict the rewards, one trained to correlate with length, and the other
trained to decorrelate with length and therefore focus more on the actual
content. We then discard the length head in RL to prevent reward hacking on
length. Experiments demonstrate that our approach almost eliminates the reward
correlation with length, and improves the obtained policy by a significant
margin.