WARM: Sui Vantaggi dei Modelli di Ricompensa con Media Pesata

Abstract

Allineare i grandi modelli linguistici (LLM) con le preferenze umane attraverso l'apprendimento per rinforzo con feedback umano (RLHF) può portare al fenomeno del "reward hacking", in cui i LLM sfruttano le imperfezioni del modello di ricompensa (RM) per ottenere ricompense apparentemente elevate senza soddisfare gli obiettivi sottostanti. Identifichiamo due principali sfide nella progettazione di RM per mitigare il reward hacking: gli spostamenti di distribuzione durante il processo di RL e le incoerenze nelle preferenze umane. Come soluzione, proponiamo i Modelli di Ricompensa a Media Ponderata (WARM), che prevedono prima il fine-tuning di più RM, seguito dalla loro media nello spazio dei pesi. Questa strategia si basa sull'osservazione che i pesi ottenuti dal fine-tuning rimangono linearmente connessi in modalità quando condividono la stessa pre-addestramento. Mediante la media dei pesi, WARM migliora l'efficienza rispetto all'ensembling tradizionale delle previsioni, aumentando al contempo l'affidabilità in caso di spostamenti di distribuzione e la robustezza alle incoerenze nelle preferenze. I nostri esperimenti su task di riassunto, utilizzando metodi best-of-N e RL, dimostrano che WARM migliora la qualità complessiva e l'allineamento delle previsioni dei LLM; ad esempio, una policy RL fine-tuned con WARM ha un tasso di vittoria del 79,4% rispetto a una policy RL fine-tuned con un singolo RM.

English

Aligning large language models (LLMs) with human preferences through reinforcement learning (RLHF) can lead to reward hacking, where LLMs exploit failures in the reward model (RM) to achieve seemingly high rewards without meeting the underlying objectives. We identify two primary challenges when designing RMs to mitigate reward hacking: distribution shifts during the RL process and inconsistencies in human preferences. As a solution, we propose Weight Averaged Reward Models (WARM), first fine-tuning multiple RMs, then averaging them in the weight space. This strategy follows the observation that fine-tuned weights remain linearly mode connected when sharing the same pre-training. By averaging weights, WARM improves efficiency compared to the traditional ensembling of predictions, while improving reliability under distribution shifts and robustness to preference inconsistencies. Our experiments on summarization tasks, using best-of-N and RL methods, shows that WARM improves the overall quality and alignment of LLM predictions; for example, a policy RL fine-tuned with WARM has a 79.4% win rate against a policy RL fine-tuned with a single RM.

WARM: Sui Vantaggi dei Modelli di Ricompensa con Media Pesata

WARM: On the Benefits of Weight Averaged Reward Models

Abstract

Support