El Muestreo por Rechazo Estadístico Mejora la Optimización de Preferencias

Resumen

Mejorar la alineación de los modelos de lenguaje con las preferencias humanas sigue siendo un desafío activo de investigación. Los enfoques anteriores han utilizado principalmente el Aprendizaje por Refuerzo con Retroalimentación Humana (RLHF) mediante métodos de RL en línea como la Optimización de Políticas Proximales (PPO). Recientemente, métodos fuera de línea como la Calibración de Probabilidad de Secuencias (SLiC) y la Optimización Directa de Preferencias (DPO) han surgido como alternativas atractivas, ofreciendo mejoras en estabilidad y escalabilidad mientras mantienen un rendimiento competitivo. SLiC refina su función de pérdida utilizando pares de secuencias muestreados de una política ajustada supervisadamente (SFT), mientras que DPO optimiza directamente los modelos de lenguaje basándose en datos de preferencias, prescindiendo de un modelo de recompensa separado. Sin embargo, el estimador de máxima verosimilitud (MLE) de la política óptima objetivo requiere pares de preferencias etiquetados muestreados de esa política. La falta de un modelo de recompensa en DPO limita su capacidad para muestrear pares de preferencias de la política óptima, y SLiC está restringido a muestrear pares de preferencias solo de la política SFT. Para abordar estas limitaciones, introducimos un nuevo enfoque llamado Optimización de Muestreo por Rechazo Estadístico (RSO) que busca obtener datos de preferencias de la política óptima objetivo utilizando muestreo por rechazo, permitiendo una estimación más precisa de la política óptima. También proponemos un marco unificado que mejora las funciones de pérdida utilizadas tanto en SLiC como en DPO desde una perspectiva de modelado de preferencias. A través de extensos experimentos en tres tareas diversas, demostramos que RSO supera consistentemente tanto a SLiC como a DPO en evaluaciones realizadas tanto por Modelos de Lenguaje de Gran Escala (LLM) como por evaluadores humanos.

English

Improving the alignment of language models with human preferences remains an active research challenge. Previous approaches have primarily utilized Reinforcement Learning from Human Feedback (RLHF) via online RL methods such as Proximal Policy Optimization (PPO). Recently, offline methods such as Sequence Likelihood Calibration (SLiC) and Direct Preference Optimization (DPO) have emerged as attractive alternatives, offering improvements in stability and scalability while maintaining competitive performance. SLiC refines its loss function using sequence pairs sampled from a supervised fine-tuned (SFT) policy, while DPO directly optimizes language models based on preference data, foregoing the need for a separate reward model. However, the maximum likelihood estimator (MLE) of the target optimal policy requires labeled preference pairs sampled from that policy. DPO's lack of a reward model constrains its ability to sample preference pairs from the optimal policy, and SLiC is restricted to sampling preference pairs only from the SFT policy. To address these limitations, we introduce a novel approach called Statistical Rejection Sampling Optimization (RSO) that aims to source preference data from the target optimal policy using rejection sampling, enabling a more accurate estimation of the optimal policy. We also propose a unified framework that enhances the loss functions used in both SLiC and DPO from a preference modeling standpoint. Through extensive experiments across three diverse tasks, we demonstrate that RSO consistently outperforms both SLiC and DPO on evaluations from both Large Language Model (LLM) and human raters.

El Muestreo por Rechazo Estadístico Mejora la Optimización de Preferencias

Statistical Rejection Sampling Improves Preference Optimization

Resumen

Support