WARM: Über die Vorteile gewichteter durchschnittlicher Belohnungsmodelle

Zusammenfassung

Die Ausrichtung großer Sprachmodelle (LLMs) an menschlichen Präferenzen durch Reinforcement Learning (RLHF) kann zu Reward Hacking führen, bei dem LLMs Schwächen im Reward-Modell (RM) ausnutzen, um scheinbar hohe Belohnungen zu erzielen, ohne die zugrunde liegenden Ziele zu erreichen. Wir identifizieren zwei Hauptherausforderungen bei der Gestaltung von RMs zur Minderung von Reward Hacking: Verteilungsverschiebungen während des RL-Prozesses und Inkonsistenzen in menschlichen Präferenzen. Als Lösung schlagen wir Weight Averaged Reward Models (WARM) vor, bei denen zunächst mehrere RMs feinabgestimmt und dann im Gewichtsraum gemittelt werden. Diese Strategie basiert auf der Beobachtung, dass feinabgestimmte Gewichte linear modusverbunden bleiben, wenn sie dasselbe Pre-Training teilen. Durch die Mittelung der Gewichte verbessert WARM die Effizienz im Vergleich zum traditionellen Ensembling von Vorhersagen und erhöht gleichzeitig die Zuverlässigkeit bei Verteilungsverschiebungen und die Robustheit gegenüber Präferenzinkonsistenzen. Unsere Experimente zu Zusammenfassungsaufgaben, bei denen Best-of-N- und RL-Methoden verwendet werden, zeigen, dass WARM die Gesamtqualität und Ausrichtung der LLM-Vorhersagen verbessert; beispielsweise hat eine mit WARM feinabgestimmte RL-Policy eine Gewinnrate von 79,4 % gegenüber einer mit einem einzelnen RM feinabgestimmten RL-Policy.

English

Aligning large language models (LLMs) with human preferences through reinforcement learning (RLHF) can lead to reward hacking, where LLMs exploit failures in the reward model (RM) to achieve seemingly high rewards without meeting the underlying objectives. We identify two primary challenges when designing RMs to mitigate reward hacking: distribution shifts during the RL process and inconsistencies in human preferences. As a solution, we propose Weight Averaged Reward Models (WARM), first fine-tuning multiple RMs, then averaging them in the weight space. This strategy follows the observation that fine-tuned weights remain linearly mode connected when sharing the same pre-training. By averaging weights, WARM improves efficiency compared to the traditional ensembling of predictions, while improving reliability under distribution shifts and robustness to preference inconsistencies. Our experiments on summarization tasks, using best-of-N and RL methods, shows that WARM improves the overall quality and alignment of LLM predictions; for example, a policy RL fine-tuned with WARM has a 79.4% win rate against a policy RL fine-tuned with a single RM.

WARM: Über die Vorteile gewichteter durchschnittlicher Belohnungsmodelle

WARM: On the Benefits of Weight Averaged Reward Models

Zusammenfassung

Support