RRM: Обучение устойчивой модели вознаграждения смягчает взлом вознаграждения.

RRM: Robust Reward Model Training Mitigates Reward Hacking

September 20, 2024

Авторы: Tianqi Liu, Wei Xiong, Jie Ren, Lichang Chen, Junru Wu, Rishabh Joshi, Yang Gao, Jiaming Shen, Zhen Qin, Tianhe Yu, Daniel Sohn, Anastasiia Makarova, Jeremiah Liu, Yuan Liu, Bilal Piot, Abe Ittycheriah, Aviral Kumar, Mohammad Saleh

cs.AI

Аннотация

Модели вознаграждения (RMs) играют ключевую роль в выравнивании больших языковых моделей (LLMs) с предпочтениями людей. Однако традиционное обучение RM, основанное на ответных парах, связанных с конкретными подсказками, испытывает затруднения в разделении предпочтений, зависящих от подсказок, от независимых от подсказок артефактов, таких как длина и формат ответа. В данной работе мы выявляем фундаментальное ограничение текущих методов обучения RM, где RM неэффективно различает контекстные сигналы и нежелательные артефакты при определении предпочтений. Для решения этой проблемы мы представляем причинную структуру, которая изучает предпочтения независимо от этих артефактов, и предлагаем новую технику аугментации данных, разработанную для их устранения. Обширные эксперименты показывают, что наш подход успешно фильтрует нежелательные артефакты, обеспечивая более надежную модель вознаграждения (RRM). Наша RRM улучшает производительность парной модели вознаграждения, обученной на Gemma-2-9b-it, на платформе RewardBench, увеличивая точность с 80.61% до 84.15%. Кроме того, мы обучаем две политики DPO, используя как RM, так и RRM, демонстрируя, что RRM значительно улучшает выровненные по DPO политики, увеличивая оценки MT-Bench с 7.27 до 8.31 и долю побед при контроле длины в AlpacaEval-2 с 33.46% до 52.49%.

English

Reward models (RMs) play a pivotal role in aligning large language models (LLMs) with human preferences. However, traditional RM training, which relies on response pairs tied to specific prompts, struggles to disentangle prompt-driven preferences from prompt-independent artifacts, such as response length and format. In this work, we expose a fundamental limitation of current RM training methods, where RMs fail to effectively distinguish between contextual signals and irrelevant artifacts when determining preferences. To address this, we introduce a causal framework that learns preferences independent of these artifacts and propose a novel data augmentation technique designed to eliminate them. Extensive experiments show that our approach successfully filters out undesirable artifacts, yielding a more robust reward model (RRM). Our RRM improves the performance of a pairwise reward model trained on Gemma-2-9b-it, on RewardBench, increasing accuracy from 80.61% to 84.15%. Additionally, we train two DPO policies using both the RM and RRM, demonstrating that the RRM significantly enhances DPO-aligned policies, improving MT-Bench scores from 7.27 to 8.31 and length-controlled win-rates in AlpacaEval-2 from 33.46% to 52.49%.