Nuevos Desiderata para la Optimización Directa de Preferencias

New Desiderata for Direct Preference Optimization

July 12, 2024

Autores: Xiangkun Hu, Tong He, David Wipf

cs.AI

Resumen

En el pasado, los grandes modelos de lenguaje típicamente han dependido de alguna forma de aprendizaje por refuerzo con retroalimentación humana (RLHF) para alinear mejor las respuestas del modelo con las preferencias humanas. Sin embargo, debido a las inestabilidades a menudo observadas al implementar estos procesos RLHF, recientemente se han introducido diversas técnicas de reparametrización para evitar la necesidad de aprender por separado un modelo de recompensa RL. En su lugar, el ajuste directo a las preferencias humanas se logra mediante la minimización de un único objetivo de entrenamiento en forma cerrada, un proceso originalmente denominado optimización directa de preferencias (DPO) seguido por varios descendientes notables. Aunque efectivo en ciertos entornos del mundo real, presentamos nuevos criterios de evaluación que sirven para resaltar deficiencias no resueltas en la capacidad de los métodos DPO existentes para interpolar entre un modelo de referencia preentrenado y medidas empíricas de preferencias humanas, así como compromisos inevitables en la regularización de respuestas de baja y alta calidad y en el manejo de restricciones. Nuestros hallazgos motivan entonces una pérdida similar a DPO alternativa que mitiga de manera comprobada estas limitaciones. Los resultados empíricos sirven para corroborar aspectos notables de nuestros análisis.

English

Large language models in the past have typically relied on some form of reinforcement learning with human feedback (RLHF) to better align model responses with human preferences. However, because of oft-observed instabilities when implementing these RLHF pipelines, various reparameterization techniques have recently been introduced to sidestep the need for separately learning an RL reward model. Instead, directly fine-tuning for human preferences is achieved via the minimization of a single closed-form training objective, a process originally referred to as direct preference optimization (DPO) and followed by several notable descendants. Although effective in certain real-world settings, we introduce new evaluation criteria that serve to highlight unresolved shortcomings in the ability of existing DPO methods to interpolate between a pre-trained reference model and empirical measures of human preferences, as well as unavoidable trade-offs in how low- and high-quality responses are regularized and constraints are handled. Our insights then motivate an alternative DPO-like loss that provably mitigates these limitations. Empirical results serve to corroborate notable aspects of our analyses.