ODIN : La récompense désentrelacée atténue le piratage dans l'apprentissage par renforcement avec feedback humain

ODIN: Disentangled Reward Mitigates Hacking in RLHF

February 11, 2024

Auteurs: Lichang Chen, Chen Zhu, Davit Soselia, Jiuhai Chen, Tianyi Zhou, Tom Goldstein, Heng Huang, Mohammad Shoeybi, Bryan Catanzaro

cs.AI

Résumé

Dans ce travail, nous étudions le problème du détournement de récompense lié à la longueur des réponses, un défi émergeant dans l'apprentissage par renforcement à partir de retours humains (RLHF) sur les modèles de langage de grande taille (LLMs). Une réponse bien formatée, verbeuse mais moins utile provenant des LLMs peut souvent tromper les LLMs eux-mêmes, voire les évaluateurs humains, pour obtenir des scores élevés. Le même problème se pose également pour certains modèles de récompense dans l'apprentissage par renforcement (RL). Pour relever les défis à la fois dans l'entraînement et l'évaluation, nous établissons un protocole d'évaluation plus fiable pour comparer différentes configurations d'entraînement, qui examine le compromis entre le score d'évaluation des LLMs et la longueur des réponses obtenue en faisant varier les hyperparamètres d'entraînement. Sur la base de cette évaluation, nous menons des études à grande échelle, dont les résultats apportent des éclairages sur l'efficacité des hyperparamètres et des astuces utilisés en RL pour atténuer le biais de longueur. Nous proposons en outre d'améliorer le modèle de récompense en entraînant conjointement deux têtes linéaires sur des représentations de caractéristiques partagées pour prédire les récompenses, l'une entraînée à corréler avec la longueur, et l'autre entraînée à décorréler avec la longueur et donc à se concentrer davantage sur le contenu réel. Nous écartons ensuite la tête de longueur en RL pour empêcher le détournement de récompense sur la longueur. Les expériences démontrent que notre approche élimine presque entièrement la corrélation de récompense avec la longueur et améliore significativement la politique obtenue.

English

In this work, we study the issue of reward hacking on the response length, a challenge emerging in Reinforcement Learning from Human Feedback (RLHF) on LLMs. A well-formatted, verbose but less helpful response from the LLMs can often deceive LLMs or even human evaluators to achieve high scores. The same issue also holds for some reward models in RL. To address the challenges in both training and evaluation, we establish a more reliable evaluation protocol for comparing different training configurations, which inspects the trade-off between LLM evaluation score and response length obtained by varying training hyperparameters. Based on this evaluation, we conduct large-scale studies, where the results shed insights into the efficacy of hyperparameters and tricks used in RL on mitigating length bias. We further propose to improve the reward model by jointly training two linear heads on shared feature representations to predict the rewards, one trained to correlate with length, and the other trained to decorrelate with length and therefore focus more on the actual content. We then discard the length head in RL to prevent reward hacking on length. Experiments demonstrate that our approach almost eliminates the reward correlation with length, and improves the obtained policy by a significant margin.