Novas Desiderata para Otimização Direta de Preferências

New Desiderata for Direct Preference Optimization

July 12, 2024

Autores: Xiangkun Hu, Tong He, David Wipf

cs.AI

Resumo

No passado, os grandes modelos de linguagem geralmente dependiam de alguma forma de aprendizado por reforço com feedback humano (ARFH) para alinhar melhor as respostas do modelo com as preferências humanas. No entanto, devido às instabilidades frequentemente observadas ao implementar esses pipelines de ARFH, várias técnicas de reparametrização foram recentemente introduzidas para contornar a necessidade de aprender separadamente um modelo de recompensa de AR. Em vez disso, o ajuste direto para as preferências humanas é alcançado por meio da minimização de um único objetivo de treinamento em forma fechada, um processo originalmente denominado otimização direta de preferência (ODP) e seguido por vários descendentes notáveis. Embora eficaz em certos cenários do mundo real, introduzimos novos critérios de avaliação que destacam deficiências não resolvidas na capacidade dos métodos de ODP existentes de interpolar entre um modelo de referência pré-treinado e medidas empíricas de preferências humanas, bem como compensações inevitáveis na forma como respostas de baixa e alta qualidade são regularizadas e como as restrições são tratadas. Nossas percepções então motivam uma perda semelhante à ODP alternativa que mitiga comprovadamente essas limitações. Resultados empíricos servem para corroborar aspectos notáveis de nossas análises.

English

Large language models in the past have typically relied on some form of reinforcement learning with human feedback (RLHF) to better align model responses with human preferences. However, because of oft-observed instabilities when implementing these RLHF pipelines, various reparameterization techniques have recently been introduced to sidestep the need for separately learning an RL reward model. Instead, directly fine-tuning for human preferences is achieved via the minimization of a single closed-form training objective, a process originally referred to as direct preference optimization (DPO) and followed by several notable descendants. Although effective in certain real-world settings, we introduce new evaluation criteria that serve to highlight unresolved shortcomings in the ability of existing DPO methods to interpolate between a pre-trained reference model and empirical measures of human preferences, as well as unavoidable trade-offs in how low- and high-quality responses are regularized and constraints are handled. Our insights then motivate an alternative DPO-like loss that provably mitigates these limitations. Empirical results serve to corroborate notable aspects of our analyses.