ODIN: Ontvlochten Beloning Vermindert Manipulatie in RLHF

ODIN: Disentangled Reward Mitigates Hacking in RLHF

February 11, 2024

Auteurs: Lichang Chen, Chen Zhu, Davit Soselia, Jiuhai Chen, Tianyi Zhou, Tom Goldstein, Heng Huang, Mohammad Shoeybi, Bryan Catanzaro

cs.AI

Samenvatting

In dit werk bestuderen we het probleem van reward hacking op responslengte, een uitdaging die ontstaat bij Reinforcement Learning from Human Feedback (RLHF) op LLM's. Een goed geformatteerde, uitgebreide maar minder nuttige respons van de LLM's kan vaak zowel de LLM's als zelfs menselijke beoordelaars misleiden om hoge scores te behalen. Hetzelfde probleem doet zich ook voor bij sommige beloningsmodellen in RL. Om de uitdagingen in zowel training als evaluatie aan te pakken, stellen we een betrouwbaarder evaluatieprotocol op voor het vergelijken van verschillende trainingsconfiguraties, waarbij de afweging tussen de LLM-evaluatiescore en de responslengte wordt onderzocht door trainingshyperparameters te variëren. Op basis van deze evaluatie voeren we grootschalige studies uit, waarvan de resultaten inzicht geven in de effectiviteit van hyperparameters en technieken die in RL worden gebruikt om lengtebias te verminderen. We stellen verder voor om het beloningsmodel te verbeteren door gezamenlijk twee lineaire heads te trainen op gedeelde feature-representaties om de beloningen te voorspellen, waarbij de ene wordt getraind om te correleren met lengte, en de andere wordt getraind om te decorreleren met lengte en zich daarom meer te richten op de daadwerkelijke inhoud. Vervolgens verwijderen we de lengte-head in RL om reward hacking op lengte te voorkomen. Experimenten tonen aan dat onze aanpak de correlatie tussen beloning en lengte vrijwel elimineert, en het verkregen beleid aanzienlijk verbetert.

English

In this work, we study the issue of reward hacking on the response length, a challenge emerging in Reinforcement Learning from Human Feedback (RLHF) on LLMs. A well-formatted, verbose but less helpful response from the LLMs can often deceive LLMs or even human evaluators to achieve high scores. The same issue also holds for some reward models in RL. To address the challenges in both training and evaluation, we establish a more reliable evaluation protocol for comparing different training configurations, which inspects the trade-off between LLM evaluation score and response length obtained by varying training hyperparameters. Based on this evaluation, we conduct large-scale studies, where the results shed insights into the efficacy of hyperparameters and tricks used in RL on mitigating length bias. We further propose to improve the reward model by jointly training two linear heads on shared feature representations to predict the rewards, one trained to correlate with length, and the other trained to decorrelate with length and therefore focus more on the actual content. We then discard the length head in RL to prevent reward hacking on length. Experiments demonstrate that our approach almost eliminates the reward correlation with length, and improves the obtained policy by a significant margin.