Статистический метод отбраковки выборок улучшает оптимизацию предпочтений
Statistical Rejection Sampling Improves Preference Optimization
September 13, 2023
Авторы: Tianqi Liu, Yao Zhao, Rishabh Joshi, Misha Khalman, Mohammad Saleh, Peter J. Liu, Jialu Liu
cs.AI
Аннотация
Повышение согласованности языковых моделей с человеческими предпочтениями остается актуальной исследовательской задачей. Ранее использовались подходы, основанные на обучении с подкреплением с использованием человеческой обратной связи (RLHF) через онлайн-методы, такие как оптимизация проксимальной политики (PPO). В последнее время оффлайн-методы, такие как калибровка правдоподобия последовательностей (SLiC) и оптимизация прямых предпочтений (DPO), стали привлекательными альтернативами, предлагая улучшения в стабильности и масштабируемости при сохранении конкурентоспособной производительности. SLiC уточняет свою функцию потерь, используя пары последовательностей, взятые из политики, дообученной с учителем (SFT), тогда как DPO напрямую оптимизирует языковые модели на основе данных о предпочтениях, исключая необходимость в отдельной модели вознаграждения. Однако оценка максимального правдоподобия (MLE) для целевой оптимальной политики требует размеченных пар предпочтений, взятых из этой политики. Отсутствие модели вознаграждения в DPO ограничивает его способность выбирать пары предпочтений из оптимальной политики, а SLiC ограничен выбором пар только из политики SFT. Для устранения этих ограничений мы предлагаем новый подход под названием оптимизация с использованием статистического отбраковывающего сэмплирования (RSO), который направлен на получение данных о предпочтениях из целевой оптимальной политики с использованием отбраковывающего сэмплирования, что позволяет более точно оценить оптимальную политику. Мы также предлагаем унифицированную структуру, которая улучшает функции потерь, используемые в SLiC и DPO, с точки зрения моделирования предпочтений. В ходе обширных экспериментов на трех различных задачах мы демонстрируем, что RSO стабильно превосходит как SLiC, так и DPO в оценках, проведенных как крупными языковыми моделями (LLM), так и людьми-оценщиками.
English
Improving the alignment of language models with human preferences remains an
active research challenge. Previous approaches have primarily utilized
Reinforcement Learning from Human Feedback (RLHF) via online RL methods such as
Proximal Policy Optimization (PPO). Recently, offline methods such as Sequence
Likelihood Calibration (SLiC) and Direct Preference Optimization (DPO) have
emerged as attractive alternatives, offering improvements in stability and
scalability while maintaining competitive performance. SLiC refines its loss
function using sequence pairs sampled from a supervised fine-tuned (SFT)
policy, while DPO directly optimizes language models based on preference data,
foregoing the need for a separate reward model. However, the maximum likelihood
estimator (MLE) of the target optimal policy requires labeled preference pairs
sampled from that policy. DPO's lack of a reward model constrains its ability
to sample preference pairs from the optimal policy, and SLiC is restricted to
sampling preference pairs only from the SFT policy. To address these
limitations, we introduce a novel approach called Statistical Rejection
Sampling Optimization (RSO) that aims to source preference data from the target
optimal policy using rejection sampling, enabling a more accurate estimation of
the optimal policy. We also propose a unified framework that enhances the loss
functions used in both SLiC and DPO from a preference modeling standpoint.
Through extensive experiments across three diverse tasks, we demonstrate that
RSO consistently outperforms both SLiC and DPO on evaluations from both Large
Language Model (LLM) and human raters.