Nieuwe Desiderata voor Directe Voorkeursoptimalisatie

New Desiderata for Direct Preference Optimization

July 12, 2024

Auteurs: Xiangkun Hu, Tong He, David Wipf

cs.AI

Samenvatting

Grote taalmodellen hebben in het verleden doorgaans vertrouwd op een vorm van reinforcement learning met menselijke feedback (RLHF) om modelreacties beter af te stemmen op menselijke voorkeuren. Vanwege de vaak waargenomen instabiliteiten bij het implementeren van deze RLHF-pipelines, zijn recentelijk verschillende herparameterisatietechnieken geïntroduceerd om de noodzaak van het apart leren van een RL-beloningsmodel te omzeilen. In plaats daarvan wordt directe fine-tuning voor menselijke voorkeuren bereikt door het minimaliseren van een enkele gesloten trainingsdoelstelling, een proces dat oorspronkelijk werd aangeduid als direct preference optimization (DPO) en dat werd gevolgd door verschillende opmerkelijke varianten. Hoewel effectief in bepaalde real-world situaties, introduceren we nieuwe evaluatiecriteria die onopgeloste tekortkomingen benadrukken in het vermogen van bestaande DPO-methoden om te interpoleren tussen een vooraf getraind referentiemodel en empirische metingen van menselijke voorkeuren, evenals onvermijdelijke afwegingen in hoe laag- en hoogwaardige reacties worden geregulariseerd en beperkingen worden behandeld. Onze inzichten motiveren vervolgens een alternatief DPO-achtig verlies dat deze beperkingen aantoonbaar vermindert. Empirische resultaten ondersteunen opmerkelijke aspecten van onze analyses.

English

Large language models in the past have typically relied on some form of reinforcement learning with human feedback (RLHF) to better align model responses with human preferences. However, because of oft-observed instabilities when implementing these RLHF pipelines, various reparameterization techniques have recently been introduced to sidestep the need for separately learning an RL reward model. Instead, directly fine-tuning for human preferences is achieved via the minimization of a single closed-form training objective, a process originally referred to as direct preference optimization (DPO) and followed by several notable descendants. Although effective in certain real-world settings, we introduce new evaluation criteria that serve to highlight unresolved shortcomings in the ability of existing DPO methods to interpolate between a pre-trained reference model and empirical measures of human preferences, as well as unavoidable trade-offs in how low- and high-quality responses are regularized and constraints are handled. Our insights then motivate an alternative DPO-like loss that provably mitigates these limitations. Empirical results serve to corroborate notable aspects of our analyses.