WARM: Over de Voordelen van Gewogen Gemiddelde Beloningsmodellen

Samenvatting

Het afstemmen van grote taalmodellen (LLMs) op menselijke voorkeuren via reinforcement learning (RLHF) kan leiden tot reward hacking, waarbij LLMs mislukkingen in het beloningsmodel (RM) uitbuiten om schijnbaar hoge beloningen te behalen zonder de onderliggende doelen te bereiken. We identificeren twee primaire uitdagingen bij het ontwerpen van RMs om reward hacking te beperken: distributieverschuivingen tijdens het RL-proces en inconsistenties in menselijke voorkeuren. Als oplossing stellen we Weight Averaged Reward Models (WARM) voor, waarbij eerst meerdere RMs worden gefinetuned en vervolgens worden gemiddeld in de gewichtsruimte. Deze strategie volgt uit de observatie dat gefinetunede gewichten lineair modusverbonden blijven wanneer ze dezelfde voorafgaande training delen. Door gewichten te middelen, verbetert WARM de efficiëntie in vergelijking met traditionele ensemblemethoden van voorspellingen, terwijl het de betrouwbaarheid onder distributieverschuivingen en de robuustheid tegen voorkeursinconsistenties verbetert. Onze experimenten op samenvattings taken, met behulp van best-of-N en RL-methoden, tonen aan dat WARM de algehele kwaliteit en afstemming van LLM-voorspellingen verbetert; bijvoorbeeld, een beleid RL gefinetuned met WARM heeft een winstpercentage van 79,4% tegenover een beleid RL gefinetuned met een enkel RM.

English

Aligning large language models (LLMs) with human preferences through reinforcement learning (RLHF) can lead to reward hacking, where LLMs exploit failures in the reward model (RM) to achieve seemingly high rewards without meeting the underlying objectives. We identify two primary challenges when designing RMs to mitigate reward hacking: distribution shifts during the RL process and inconsistencies in human preferences. As a solution, we propose Weight Averaged Reward Models (WARM), first fine-tuning multiple RMs, then averaging them in the weight space. This strategy follows the observation that fine-tuned weights remain linearly mode connected when sharing the same pre-training. By averaging weights, WARM improves efficiency compared to the traditional ensembling of predictions, while improving reliability under distribution shifts and robustness to preference inconsistencies. Our experiments on summarization tasks, using best-of-N and RL methods, shows that WARM improves the overall quality and alignment of LLM predictions; for example, a policy RL fine-tuned with WARM has a 79.4% win rate against a policy RL fine-tuned with a single RM.

WARM: Over de Voordelen van Gewogen Gemiddelde Beloningsmodellen

WARM: On the Benefits of Weight Averaged Reward Models

Samenvatting

Support