WARM: Sobre os Benefícios dos Modelos de Recompensa com Média Ponderada

Resumo

Alinhar grandes modelos de linguagem (LLMs) com as preferências humanas por meio de aprendizado por reforço com feedback humano (RLHF) pode levar ao "reward hacking", onde os LLMs exploram falhas no modelo de recompensa (RM) para alcançar recompensas aparentemente altas sem atender aos objetivos subjacentes. Identificamos dois desafios principais ao projetar RMs para mitigar o reward hacking: mudanças de distribuição durante o processo de RL e inconsistências nas preferências humanas. Como solução, propomos os Weight Averaged Reward Models (WARM), que primeiro ajustam finamente múltiplos RMs e, em seguida, os combinam no espaço de pesos. Essa estratégia segue a observação de que os pesos ajustados finamente permanecem linearmente conectados em modo quando compartilham a mesma pré-treinamento. Ao calcular a média dos pesos, o WARM melhora a eficiência em comparação com o agrupamento tradicional de previsões, ao mesmo tempo em que aumenta a confiabilidade sob mudanças de distribuição e a robustez a inconsistências de preferências. Nossos experimentos em tarefas de sumarização, utilizando métodos de melhor-de-N e RL, mostram que o WARM melhora a qualidade geral e o alinhamento das previsões dos LLMs; por exemplo, uma política RL ajustada finamente com WARM tem uma taxa de vitória de 79,4% contra uma política RL ajustada finamente com um único RM.

English

Aligning large language models (LLMs) with human preferences through reinforcement learning (RLHF) can lead to reward hacking, where LLMs exploit failures in the reward model (RM) to achieve seemingly high rewards without meeting the underlying objectives. We identify two primary challenges when designing RMs to mitigate reward hacking: distribution shifts during the RL process and inconsistencies in human preferences. As a solution, we propose Weight Averaged Reward Models (WARM), first fine-tuning multiple RMs, then averaging them in the weight space. This strategy follows the observation that fine-tuned weights remain linearly mode connected when sharing the same pre-training. By averaging weights, WARM improves efficiency compared to the traditional ensembling of predictions, while improving reliability under distribution shifts and robustness to preference inconsistencies. Our experiments on summarization tasks, using best-of-N and RL methods, shows that WARM improves the overall quality and alignment of LLM predictions; for example, a policy RL fine-tuned with WARM has a 79.4% win rate against a policy RL fine-tuned with a single RM.

WARM: Sobre os Benefícios dos Modelos de Recompensa com Média Ponderada

WARM: On the Benefits of Weight Averaged Reward Models

Resumo

Support