ODIN: La Ricompensa Disaccoppiata Mitiga le Manipolazioni nel RLHF

ODIN: Disentangled Reward Mitigates Hacking in RLHF

February 11, 2024

Autori: Lichang Chen, Chen Zhu, Davit Soselia, Jiuhai Chen, Tianyi Zhou, Tom Goldstein, Heng Huang, Mohammad Shoeybi, Bryan Catanzaro

cs.AI

Abstract

In questo lavoro, studiamo il problema del reward hacking sulla lunghezza della risposta, una sfida che emerge nel Reinforcement Learning from Human Feedback (RLHF) applicato ai LLM. Una risposta ben formattata, verbosa ma meno utile da parte degli LLM può spesso ingannare gli stessi LLM o persino i valutatori umani, ottenendo punteggi elevati. Lo stesso problema si presenta anche per alcuni modelli di reward nel RL. Per affrontare le sfide sia nell'addestramento che nella valutazione, stabiliamo un protocollo di valutazione più affidabile per confrontare diverse configurazioni di addestramento, che esamina il compromesso tra il punteggio di valutazione dell'LLM e la lunghezza della risposta ottenuta variando gli iperparametri di addestramento. Sulla base di questa valutazione, conduciamo studi su larga scala, i cui risultati forniscono approfondimenti sull'efficacia degli iperparametri e delle tecniche utilizzate nel RL per mitigare il bias della lunghezza. Proponiamo inoltre di migliorare il modello di reward addestrando congiuntamente due testate lineari su rappresentazioni di feature condivise per prevedere i reward: una addestrata a correlarsi con la lunghezza e l'altra addestrata a decorrelarsi dalla lunghezza, concentrandosi quindi maggiormente sul contenuto effettivo. Successivamente, scartiamo la testata della lunghezza nel RL per prevenire il reward hacking sulla lunghezza. Gli esperimenti dimostrano che il nostro approccio elimina quasi completamente la correlazione del reward con la lunghezza e migliora significativamente la politica ottenuta.

English

In this work, we study the issue of reward hacking on the response length, a challenge emerging in Reinforcement Learning from Human Feedback (RLHF) on LLMs. A well-formatted, verbose but less helpful response from the LLMs can often deceive LLMs or even human evaluators to achieve high scores. The same issue also holds for some reward models in RL. To address the challenges in both training and evaluation, we establish a more reliable evaluation protocol for comparing different training configurations, which inspects the trade-off between LLM evaluation score and response length obtained by varying training hyperparameters. Based on this evaluation, we conduct large-scale studies, where the results shed insights into the efficacy of hyperparameters and tricks used in RL on mitigating length bias. We further propose to improve the reward model by jointly training two linear heads on shared feature representations to predict the rewards, one trained to correlate with length, and the other trained to decorrelate with length and therefore focus more on the actual content. We then discard the length head in RL to prevent reward hacking on length. Experiments demonstrate that our approach almost eliminates the reward correlation with length, and improves the obtained policy by a significant margin.