A Amostragem por Rejeição Estatística Melhora a Otimização de Preferências

Resumo

Melhorar o alinhamento de modelos de linguagem com as preferências humanas continua sendo um desafio ativo de pesquisa. Abordagens anteriores utilizaram principalmente Aprendizado por Reforço a partir de Feedback Humano (RLHF) por meio de métodos de RL online, como a Otimização de Política Proximal (PPO). Recentemente, métodos offline, como a Calibração de Probabilidade de Sequência (SLiC) e a Otimização Direta de Preferências (DPO), surgiram como alternativas atraentes, oferecendo melhorias em estabilidade e escalabilidade enquanto mantêm desempenho competitivo. O SLiC refina sua função de perda usando pares de sequências amostrados de uma política ajustada de forma supervisionada (SFT), enquanto o DPO otimiza diretamente modelos de linguagem com base em dados de preferência, dispensando a necessidade de um modelo de recompensa separado. No entanto, o estimador de máxima verossimilhança (MLE) da política ótima alvo requer pares de preferência rotulados amostrados dessa política. A ausência de um modelo de recompensa no DPO limita sua capacidade de amostrar pares de preferência da política ótima, e o SLiC está restrito a amostrar pares de preferência apenas da política SFT. Para abordar essas limitações, introduzimos uma nova abordagem chamada Otimização por Amostragem de Rejeição Estatística (RSO), que visa obter dados de preferência da política ótima alvo usando amostragem por rejeição, permitindo uma estimativa mais precisa da política ótima. Também propomos um framework unificado que aprimora as funções de perda usadas tanto no SLiC quanto no DPO do ponto de vista da modelagem de preferências. Por meio de extensos experimentos em três tarefas diversas, demonstramos que o RSO supera consistentemente tanto o SLiC quanto o DPO em avaliações feitas por Modelos de Linguagem de Grande Escala (LLM) e avaliadores humanos.

English

Improving the alignment of language models with human preferences remains an active research challenge. Previous approaches have primarily utilized Reinforcement Learning from Human Feedback (RLHF) via online RL methods such as Proximal Policy Optimization (PPO). Recently, offline methods such as Sequence Likelihood Calibration (SLiC) and Direct Preference Optimization (DPO) have emerged as attractive alternatives, offering improvements in stability and scalability while maintaining competitive performance. SLiC refines its loss function using sequence pairs sampled from a supervised fine-tuned (SFT) policy, while DPO directly optimizes language models based on preference data, foregoing the need for a separate reward model. However, the maximum likelihood estimator (MLE) of the target optimal policy requires labeled preference pairs sampled from that policy. DPO's lack of a reward model constrains its ability to sample preference pairs from the optimal policy, and SLiC is restricted to sampling preference pairs only from the SFT policy. To address these limitations, we introduce a novel approach called Statistical Rejection Sampling Optimization (RSO) that aims to source preference data from the target optimal policy using rejection sampling, enabling a more accurate estimation of the optimal policy. We also propose a unified framework that enhances the loss functions used in both SLiC and DPO from a preference modeling standpoint. Through extensive experiments across three diverse tasks, we demonstrate that RSO consistently outperforms both SLiC and DPO on evaluations from both Large Language Model (LLM) and human raters.

A Amostragem por Rejeição Estatística Melhora a Otimização de Preferências

Statistical Rejection Sampling Improves Preference Optimization

Resumo

Support