Новые принципы для прямой оптимизации предпочтений

New Desiderata for Direct Preference Optimization

July 12, 2024

Авторы: Xiangkun Hu, Tong He, David Wipf

cs.AI

Аннотация

Большие языковые модели в прошлом обычно полагались на какую-либо форму обучения с подкреплением с обратной связью от человека (RLHF), чтобы лучше согласовывать ответы модели с предпочтениями человека. Однако из-за часто наблюдаемых нестабильностей при реализации этих конвейеров RLHF недавно были введены различные техники репараметризации, чтобы обойти необходимость отдельного обучения модели вознаграждения RL. Вместо этого прямая настройка на предпочтения человека достигается путем минимизации единственной целевой функции обучения в замкнутой форме, процесс, изначально названный прямой оптимизацией предпочтений (DPO), и последованный несколькими заметными потомками. Хотя эффективен в некоторых реальных ситуациях, мы вводим новые критерии оценки, которые выявляют нерешенные недостатки в способности существующих методов DPO интерполировать между предварительно обученной эталонной моделью и эмпирическими измерениями предпочтений человека, а также неизбежные компромиссы в том, как низкокачественные и высококачественные ответы регуляризуются и обрабатываются ограничения. Наши исследования мотивируют альтернативное потери, похожие на DPO, которые доказанно смягчают эти ограничения. Эмпирические результаты подтверждают значимые аспекты наших анализов.

English

Large language models in the past have typically relied on some form of reinforcement learning with human feedback (RLHF) to better align model responses with human preferences. However, because of oft-observed instabilities when implementing these RLHF pipelines, various reparameterization techniques have recently been introduced to sidestep the need for separately learning an RL reward model. Instead, directly fine-tuning for human preferences is achieved via the minimization of a single closed-form training objective, a process originally referred to as direct preference optimization (DPO) and followed by several notable descendants. Although effective in certain real-world settings, we introduce new evaluation criteria that serve to highlight unresolved shortcomings in the ability of existing DPO methods to interpolate between a pre-trained reference model and empirical measures of human preferences, as well as unavoidable trade-offs in how low- and high-quality responses are regularized and constraints are handled. Our insights then motivate an alternative DPO-like loss that provably mitigates these limitations. Empirical results serve to corroborate notable aspects of our analyses.