WARM: О преимуществах моделей вознаграждения с усреднением весов
WARM: On the Benefits of Weight Averaged Reward Models
January 22, 2024
Авторы: Alexandre Ramé, Nino Vieillard, Léonard Hussenot, Robert Dadashi, Geoffrey Cideron, Olivier Bachem, Johan Ferret
cs.AI
Аннотация
Согласование больших языковых моделей (LLM) с человеческими предпочтениями с помощью обучения с подкреплением (RLHF) может привести к "взлому вознаграждения", когда LLM эксплуатируют недостатки модели вознаграждения (RM), чтобы достичь кажущегося высокого уровня вознаграждения, не выполняя при этом основные задачи. Мы выделяем две основные проблемы при проектировании RM для смягчения взлома вознаграждения: сдвиги распределения в процессе RL и несоответствия в человеческих предпочтениях. В качестве решения мы предлагаем модели вознаграждения с усреднением весов (WARM), сначала дообучая несколько RM, а затем усредняя их в пространстве весов. Этот подход основан на наблюдении, что дообученные веса остаются линейно связанными, если они используют одинаковую предварительную подготовку. Усредняя веса, WARM повышает эффективность по сравнению с традиционным ансамблем предсказаний, одновременно улучшая надежность при сдвигах распределения и устойчивость к несоответствиям предпочтений. Наши эксперименты на задачах суммаризации, использующие методы best-of-N и RL, показывают, что WARM улучшает общее качество и согласованность предсказаний LLM; например, политика, дообученная с помощью RL с использованием WARM, имеет 79,4% выигрышей против политики, дообученной с помощью RL с использованием одной RM.
English
Aligning large language models (LLMs) with human preferences through
reinforcement learning (RLHF) can lead to reward hacking, where LLMs exploit
failures in the reward model (RM) to achieve seemingly high rewards without
meeting the underlying objectives. We identify two primary challenges when
designing RMs to mitigate reward hacking: distribution shifts during the RL
process and inconsistencies in human preferences. As a solution, we propose
Weight Averaged Reward Models (WARM), first fine-tuning multiple RMs, then
averaging them in the weight space. This strategy follows the observation that
fine-tuned weights remain linearly mode connected when sharing the same
pre-training. By averaging weights, WARM improves efficiency compared to the
traditional ensembling of predictions, while improving reliability under
distribution shifts and robustness to preference inconsistencies. Our
experiments on summarization tasks, using best-of-N and RL methods, shows that
WARM improves the overall quality and alignment of LLM predictions; for
example, a policy RL fine-tuned with WARM has a 79.4% win rate against a policy
RL fine-tuned with a single RM.