ODIN: Entkoppelter Belohnungsmechanismus reduziert Manipulation in RLHF

ODIN: Disentangled Reward Mitigates Hacking in RLHF

February 11, 2024

Autoren: Lichang Chen, Chen Zhu, Davit Soselia, Jiuhai Chen, Tianyi Zhou, Tom Goldstein, Heng Huang, Mohammad Shoeybi, Bryan Catanzaro

cs.AI

Zusammenfassung

In dieser Arbeit untersuchen wir das Problem des Reward Hacking in Bezug auf die Antwortlänge, eine Herausforderung, die beim Reinforcement Learning from Human Feedback (RLHF) auf großen Sprachmodellen (LLMs) auftritt. Eine gut formatierte, ausführliche, aber weniger hilfreiche Antwort von LLMs kann oft sowohl die LLMs als auch menschliche Bewerter täuschen, um hohe Bewertungen zu erzielen. Das gleiche Problem tritt auch bei einigen Belohnungsmodellen im RL auf. Um die Herausforderungen sowohl im Training als auch in der Evaluation zu bewältigen, etablieren wir ein zuverlässigeres Evaluationsprotokoll zum Vergleich verschiedener Trainingskonfigurationen, das den Kompromiss zwischen der Bewertung des LLMs und der Antwortlänge untersucht, die durch die Variation der Trainingshyperparameter erzielt wird. Basierend auf dieser Evaluation führen wir umfangreiche Studien durch, deren Ergebnisse Einblicke in die Wirksamkeit von Hyperparametern und Tricks im RL zur Minderung der Längenverzerrung bieten. Wir schlagen weiterhin vor, das Belohnungsmodell zu verbessern, indem wir zwei lineare Köpfe auf gemeinsamen Merkmalsrepräsentationen trainieren, um die Belohnungen vorherzusagen: einer wird trainiert, um mit der Länge zu korrelieren, und der andere wird trainiert, um die Korrelation mit der Länge zu verringern und sich somit stärker auf den tatsächlichen Inhalt zu konzentrieren. Anschließend verwerfen wir den Längenkopf im RL, um Reward Hacking in Bezug auf die Länge zu verhindern. Experimente zeigen, dass unser Ansatz die Korrelation der Belohnung mit der Länge nahezu eliminiert und die erzielte Politik signifikant verbessert.

English

In this work, we study the issue of reward hacking on the response length, a challenge emerging in Reinforcement Learning from Human Feedback (RLHF) on LLMs. A well-formatted, verbose but less helpful response from the LLMs can often deceive LLMs or even human evaluators to achieve high scores. The same issue also holds for some reward models in RL. To address the challenges in both training and evaluation, we establish a more reliable evaluation protocol for comparing different training configurations, which inspects the trade-off between LLM evaluation score and response length obtained by varying training hyperparameters. Based on this evaluation, we conduct large-scale studies, where the results shed insights into the efficacy of hyperparameters and tricks used in RL on mitigating length bias. We further propose to improve the reward model by jointly training two linear heads on shared feature representations to predict the rewards, one trained to correlate with length, and the other trained to decorrelate with length and therefore focus more on the actual content. We then discard the length head in RL to prevent reward hacking on length. Experiments demonstrate that our approach almost eliminates the reward correlation with length, and improves the obtained policy by a significant margin.