ODIN: La recompensa desenredada mitiga el hacking en RLHF

ODIN: Disentangled Reward Mitigates Hacking in RLHF

February 11, 2024

Autores: Lichang Chen, Chen Zhu, Davit Soselia, Jiuhai Chen, Tianyi Zhou, Tom Goldstein, Heng Huang, Mohammad Shoeybi, Bryan Catanzaro

cs.AI

Resumen

En este trabajo, estudiamos el problema del "reward hacking" en la longitud de las respuestas, un desafío que surge en el Aprendizaje por Refuerzo con Retroalimentación Humana (RLHF) aplicado a modelos de lenguaje grandes (LLMs). Una respuesta bien formateada, extensa pero menos útil de los LLMs puede a menudo engañar tanto a los propios LLMs como a los evaluadores humanos para obtener puntuaciones altas. Este mismo problema también se presenta en algunos modelos de recompensa en RL. Para abordar los desafíos tanto en el entrenamiento como en la evaluación, establecemos un protocolo de evaluación más confiable para comparar diferentes configuraciones de entrenamiento, el cual examina la relación entre la puntuación de evaluación del LLM y la longitud de la respuesta obtenida al variar los hiperparámetros de entrenamiento. Basándonos en esta evaluación, realizamos estudios a gran escala, cuyos resultados arrojan luz sobre la eficacia de los hiperparámetros y técnicas utilizadas en RL para mitigar el sesgo de longitud. Además, proponemos mejorar el modelo de recompensa entrenando conjuntamente dos cabezales lineales sobre representaciones de características compartidas para predecir las recompensas: uno entrenado para correlacionarse con la longitud y otro entrenado para descorrelacionarse con la longitud y, por lo tanto, enfocarse más en el contenido real. Luego, descartamos el cabezal de longitud en RL para evitar el "reward hacking" relacionado con la longitud. Los experimentos demuestran que nuestro enfoque casi elimina la correlación de la recompensa con la longitud y mejora significativamente la política obtenida.

English

In this work, we study the issue of reward hacking on the response length, a challenge emerging in Reinforcement Learning from Human Feedback (RLHF) on LLMs. A well-formatted, verbose but less helpful response from the LLMs can often deceive LLMs or even human evaluators to achieve high scores. The same issue also holds for some reward models in RL. To address the challenges in both training and evaluation, we establish a more reliable evaluation protocol for comparing different training configurations, which inspects the trade-off between LLM evaluation score and response length obtained by varying training hyperparameters. Based on this evaluation, we conduct large-scale studies, where the results shed insights into the efficacy of hyperparameters and tricks used in RL on mitigating length bias. We further propose to improve the reward model by jointly training two linear heads on shared feature representations to predict the rewards, one trained to correlate with length, and the other trained to decorrelate with length and therefore focus more on the actual content. We then discard the length head in RL to prevent reward hacking on length. Experiments demonstrate that our approach almost eliminates the reward correlation with length, and improves the obtained policy by a significant margin.