Neue Richtlinien für die direkte Präferenzoptimierung

New Desiderata for Direct Preference Optimization

July 12, 2024

Autoren: Xiangkun Hu, Tong He, David Wipf

cs.AI

Zusammenfassung

Große Sprachmodelle haben in der Vergangenheit in der Regel auf irgendeine Form von Verstärkungslernen mit menschlichem Feedback (RLHF) gesetzt, um die Modellantworten besser an menschliche Präferenzen anzupassen. Aufgrund häufig beobachteter Instabilitäten bei der Implementierung dieser RLHF-Pipelines wurden kürzlich verschiedene Reparametrisierungstechniken eingeführt, um die Notwendigkeit des separaten Lernens eines RL-Belohnungsmodells zu umgehen. Stattdessen wird die direkte Feinabstimmung auf menschliche Präferenzen durch die Minimierung eines einzigen geschlossenen Trainingsziels erreicht, ein Prozess, der ursprünglich als direkte Präferenzoptimierung (DPO) bezeichnet wurde und von mehreren bemerkenswerten Nachkommen verfolgt wird. Obwohl in bestimmten realen Umgebungen wirksam, stellen wir neue Bewertungskriterien vor, die ungelöste Mängel in der Fähigkeit der bestehenden DPO-Methoden aufzeigen, zwischen einem vorab trainierten Referenzmodell und empirischen Maßnahmen menschlicher Präferenzen zu interpolieren, sowie unvermeidliche Kompromisse bei der Regulierung von Antworten niedriger und hoher Qualität und der Behandlung von Einschränkungen. Unsere Erkenntnisse motivieren dann einen alternativen DPO-ähnlichen Verlust, der diese Einschränkungen nachweislich mildert. Empirische Ergebnisse dienen dazu, bemerkenswerte Aspekte unserer Analysen zu bestätigen.

English

Large language models in the past have typically relied on some form of reinforcement learning with human feedback (RLHF) to better align model responses with human preferences. However, because of oft-observed instabilities when implementing these RLHF pipelines, various reparameterization techniques have recently been introduced to sidestep the need for separately learning an RL reward model. Instead, directly fine-tuning for human preferences is achieved via the minimization of a single closed-form training objective, a process originally referred to as direct preference optimization (DPO) and followed by several notable descendants. Although effective in certain real-world settings, we introduce new evaluation criteria that serve to highlight unresolved shortcomings in the ability of existing DPO methods to interpolate between a pre-trained reference model and empirical measures of human preferences, as well as unavoidable trade-offs in how low- and high-quality responses are regularized and constraints are handled. Our insights then motivate an alternative DPO-like loss that provably mitigates these limitations. Empirical results serve to corroborate notable aspects of our analyses.