ODIN: Разделение вознаграждений снижает риск взлома в RLHF

ODIN: Disentangled Reward Mitigates Hacking in RLHF

February 11, 2024

Авторы: Lichang Chen, Chen Zhu, Davit Soselia, Jiuhai Chen, Tianyi Zhou, Tom Goldstein, Heng Huang, Mohammad Shoeybi, Bryan Catanzaro

cs.AI

Аннотация

В данной работе мы исследуем проблему манипуляции с наградой, связанной с длиной ответа, — вызов, возникающий при обучении с подкреплением на основе обратной связи от человека (RLHF) для крупных языковых моделей (LLM). Хорошо структурированный, многословный, но менее полезный ответ от LLM часто может обмануть как сами модели, так и даже человеческих оценщиков, чтобы получить высокие баллы. Та же проблема наблюдается и для некоторых моделей награды в RL. Чтобы решить эти проблемы как в обучении, так и в оценке, мы разрабатываем более надежный протокол оценки для сравнения различных конфигураций обучения, который анализирует компромисс между оценкой LLM и длиной ответа, полученной при варьировании гиперпараметров обучения. На основе этой оценки мы проводим масштабные исследования, результаты которых проливают свет на эффективность гиперпараметров и приемов, используемых в RL для смягчения смещения по длине. Мы также предлагаем улучшить модель награды путем совместного обучения двух линейных голов на общих представлениях признаков для предсказания наград: одна обучается коррелировать с длиной, а другая — декоррелировать с длиной, чтобы больше фокусироваться на фактическом содержании. Затем мы исключаем голову, связанную с длиной, в RL, чтобы предотвратить манипуляцию с наградой по длине. Эксперименты показывают, что наш подход практически устраняет корреляцию награды с длиной и значительно улучшает полученную политику.

English

In this work, we study the issue of reward hacking on the response length, a challenge emerging in Reinforcement Learning from Human Feedback (RLHF) on LLMs. A well-formatted, verbose but less helpful response from the LLMs can often deceive LLMs or even human evaluators to achieve high scores. The same issue also holds for some reward models in RL. To address the challenges in both training and evaluation, we establish a more reliable evaluation protocol for comparing different training configurations, which inspects the trade-off between LLM evaluation score and response length obtained by varying training hyperparameters. Based on this evaluation, we conduct large-scale studies, where the results shed insights into the efficacy of hyperparameters and tricks used in RL on mitigating length bias. We further propose to improve the reward model by jointly training two linear heads on shared feature representations to predict the rewards, one trained to correlate with length, and the other trained to decorrelate with length and therefore focus more on the actual content. We then discard the length head in RL to prevent reward hacking on length. Experiments demonstrate that our approach almost eliminates the reward correlation with length, and improves the obtained policy by a significant margin.