ODIN: Recompensa Desacoplada Mitiga o Hacking no RLHF

ODIN: Disentangled Reward Mitigates Hacking in RLHF

February 11, 2024

Autores: Lichang Chen, Chen Zhu, Davit Soselia, Jiuhai Chen, Tianyi Zhou, Tom Goldstein, Heng Huang, Mohammad Shoeybi, Bryan Catanzaro

cs.AI

Resumo

Neste trabalho, estudamos o problema do "reward hacking" no comprimento da resposta, um desafio que surge no Aprendizado por Reforço com Feedback Humano (RLHF) em LLMs. Uma resposta bem formatada, verbosa, mas menos útil dos LLMs pode frequentemente enganar os próprios LLMs ou até mesmo avaliadores humanos, resultando em pontuações altas. O mesmo problema também ocorre em alguns modelos de recompensa no RL. Para abordar os desafios tanto no treinamento quanto na avaliação, estabelecemos um protocolo de avaliação mais confiável para comparar diferentes configurações de treinamento, que examina a relação de troca entre a pontuação de avaliação do LLM e o comprimento da resposta obtido ao variar os hiperparâmetros de treinamento. Com base nessa avaliação, conduzimos estudos em larga escala, cujos resultados fornecem insights sobre a eficácia dos hiperparâmetros e técnicas usadas no RL para mitigar o viés de comprimento. Propomos ainda melhorar o modelo de recompensa treinando conjuntamente duas cabeças lineares em representações de características compartilhadas para prever as recompensas: uma treinada para correlacionar-se com o comprimento e outra treinada para descorrelacionar-se com o comprimento e, portanto, focar mais no conteúdo real. Em seguida, descartamos a cabeça de comprimento no RL para evitar o "reward hacking" no comprimento. Experimentos demonstram que nossa abordagem quase elimina a correlação da recompensa com o comprimento e melhora a política obtida de forma significativa.

English

In this work, we study the issue of reward hacking on the response length, a challenge emerging in Reinforcement Learning from Human Feedback (RLHF) on LLMs. A well-formatted, verbose but less helpful response from the LLMs can often deceive LLMs or even human evaluators to achieve high scores. The same issue also holds for some reward models in RL. To address the challenges in both training and evaluation, we establish a more reliable evaluation protocol for comparing different training configurations, which inspects the trade-off between LLM evaluation score and response length obtained by varying training hyperparameters. Based on this evaluation, we conduct large-scale studies, where the results shed insights into the efficacy of hyperparameters and tricks used in RL on mitigating length bias. We further propose to improve the reward model by jointly training two linear heads on shared feature representations to predict the rewards, one trained to correlate with length, and the other trained to decorrelate with length and therefore focus more on the actual content. We then discard the length head in RL to prevent reward hacking on length. Experiments demonstrate that our approach almost eliminates the reward correlation with length, and improves the obtained policy by a significant margin.