RRM: Robustes Belohnungsmodell-Training mildert Belohnungshacks.

RRM: Robust Reward Model Training Mitigates Reward Hacking

September 20, 2024

Autoren: Tianqi Liu, Wei Xiong, Jie Ren, Lichang Chen, Junru Wu, Rishabh Joshi, Yang Gao, Jiaming Shen, Zhen Qin, Tianhe Yu, Daniel Sohn, Anastasiia Makarova, Jeremiah Liu, Yuan Liu, Bilal Piot, Abe Ittycheriah, Aviral Kumar, Mohammad Saleh

cs.AI

Zusammenfassung

Belohnungsmodelle (RMs) spielen eine entscheidende Rolle bei der Ausrichtung großer Sprachmodelle (LLMs) auf menschliche Präferenzen. Allerdings kämpft das traditionelle Training von RMs, das auf Antwortpaaren basiert, die an spezifische Aufforderungen gebunden sind, damit, Aufforderungsgetriebene Präferenzen von aufforderungsunabhängigen Artefakten wie Antwortlänge und -format zu trennen. In dieser Arbeit zeigen wir eine grundlegende Einschränkung der aktuellen RM-Trainingsmethoden auf, bei der RMs nicht effektiv zwischen kontextuellen Signalen und irrelevanten Artefakten unterscheiden können, wenn es um die Bestimmung von Präferenzen geht. Um dies zu lösen, führen wir ein kausales Rahmenwerk ein, das Präferenzen unabhängig von diesen Artefakten lernt, und schlagen eine neuartige Datenanreicherungstechnik vor, die darauf abzielt, diese zu eliminieren. Umfangreiche Experimente zeigen, dass unser Ansatz unerwünschte Artefakte erfolgreich herausfiltert und ein robusteres Belohnungsmodell (RRM) liefert. Unser RRM verbessert die Leistung eines paarweisen Belohnungsmodells, das auf Gemma-2-9b-it trainiert wurde, auf RewardBench, wobei die Genauigkeit von 80,61% auf 84,15% steigt. Darüber hinaus trainieren wir zwei DPO-Richtlinien unter Verwendung sowohl des RM als auch des RRM und zeigen, dass das RRM die DPO-ausgerichteten Richtlinien signifikant verbessert, wobei die MT-Bench-Werte von 7,27 auf 8,31 und die Längenkontrollgewinnraten in AlpacaEval-2 von 33,46% auf 52,49% steigen.

English

Reward models (RMs) play a pivotal role in aligning large language models (LLMs) with human preferences. However, traditional RM training, which relies on response pairs tied to specific prompts, struggles to disentangle prompt-driven preferences from prompt-independent artifacts, such as response length and format. In this work, we expose a fundamental limitation of current RM training methods, where RMs fail to effectively distinguish between contextual signals and irrelevant artifacts when determining preferences. To address this, we introduce a causal framework that learns preferences independent of these artifacts and propose a novel data augmentation technique designed to eliminate them. Extensive experiments show that our approach successfully filters out undesirable artifacts, yielding a more robust reward model (RRM). Our RRM improves the performance of a pairwise reward model trained on Gemma-2-9b-it, on RewardBench, increasing accuracy from 80.61% to 84.15%. Additionally, we train two DPO policies using both the RM and RRM, demonstrating that the RRM significantly enhances DPO-aligned policies, improving MT-Bench scores from 7.27 to 8.31 and length-controlled win-rates in AlpacaEval-2 from 33.46% to 52.49%.