RRM : L'entraînement d'un Modèle de Récompense Robuste Atténue le Piratage de Récompense

RRM: Robust Reward Model Training Mitigates Reward Hacking

September 20, 2024

Auteurs: Tianqi Liu, Wei Xiong, Jie Ren, Lichang Chen, Junru Wu, Rishabh Joshi, Yang Gao, Jiaming Shen, Zhen Qin, Tianhe Yu, Daniel Sohn, Anastasiia Makarova, Jeremiah Liu, Yuan Liu, Bilal Piot, Abe Ittycheriah, Aviral Kumar, Mohammad Saleh

cs.AI

Résumé

Les modèles de récompense (RMs) jouent un rôle essentiel dans l'alignement des grands modèles de langage (LLMs) sur les préférences humaines. Cependant, l'entraînement traditionnel des RM, qui repose sur des paires de réponses liées à des prompts spécifiques, peine à démêler les préférences induites par le prompt des artefacts indépendants du prompt, tels que la longueur et le format des réponses. Dans ce travail, nous mettons en lumière une limitation fondamentale des méthodes actuelles d'entraînement des RM, où les RM échouent à distinguer efficacement les signaux contextuels des artefacts non pertinents lors de la détermination des préférences. Pour remédier à cela, nous introduisons un cadre causal qui apprend les préférences indépendamment de ces artefacts et proposons une nouvelle technique d'augmentation des données conçue pour les éliminer. Des expériences approfondies montrent que notre approche filtre avec succès les artefacts indésirables, produisant un modèle de récompense plus robuste (RRM). Notre RRM améliore les performances d'un modèle de récompense par paires entraîné sur Gemma-2-9b-it, sur RewardBench, augmentant la précision de 80,61% à 84,15%. De plus, nous entraînons deux politiques DPO en utilisant à la fois le RM et le RRM, démontrant que le RRM améliore significativement les politiques alignées sur le DPO, améliorant les scores MT-Bench de 7,27 à 8,31 et les taux de victoires contrôlés en longueur dans AlpacaEval-2 de 33,46% à 52,49%.

English

Reward models (RMs) play a pivotal role in aligning large language models (LLMs) with human preferences. However, traditional RM training, which relies on response pairs tied to specific prompts, struggles to disentangle prompt-driven preferences from prompt-independent artifacts, such as response length and format. In this work, we expose a fundamental limitation of current RM training methods, where RMs fail to effectively distinguish between contextual signals and irrelevant artifacts when determining preferences. To address this, we introduce a causal framework that learns preferences independent of these artifacts and propose a novel data augmentation technique designed to eliminate them. Extensive experiments show that our approach successfully filters out undesirable artifacts, yielding a more robust reward model (RRM). Our RRM improves the performance of a pairwise reward model trained on Gemma-2-9b-it, on RewardBench, increasing accuracy from 80.61% to 84.15%. Additionally, we train two DPO policies using both the RM and RRM, demonstrating that the RRM significantly enhances DPO-aligned policies, improving MT-Bench scores from 7.27 to 8.31 and length-controlled win-rates in AlpacaEval-2 from 33.46% to 52.49%.