Оптимизация предпочтений с помощью самоулучшающихся устойчивых алгоритмов.

Self-Improving Robust Preference Optimization

June 3, 2024

Авторы: Eugene Choi, Arash Ahmadian, Matthieu Geist, Oilvier Pietquin, Mohammad Gheshlaghi Azar

cs.AI

Аннотация

Как онлайн, так и офлайн методы RLHF, такие как PPO и DPO, оказались чрезвычайно успешными в выравнивании ИИ с предпочтениями человека. Несмотря на их успех, существующие методы сталкиваются с фундаментальной проблемой: их оптимальное решение сильно зависит от задачи (т.е. неустойчиво к задачам вне распределения). Здесь мы решаем эту проблему, предлагая Self-Improving Robust Preference Optimization (SRPO), практическую и математически обоснованную офлайн рамку RLHF, которая полностью устойчива к изменениям задачи. Основная идея SRPO заключается в том, чтобы представить проблему обучения на основе предпочтений человека как процесс самоусовершенствования, который может быть математически выражен в терминах цели минимакса, направленной на совместную оптимизацию политики самоусовершенствования и генеративной политики в адверсарном стиле. Решение этой задачи оптимизации не зависит от обучающей задачи и, следовательно, устойчиво к ее изменениям. Затем мы показываем, что данная цель может быть переформулирована в виде неадверсарной офлайн потери, которую можно оптимизировать с использованием стандартных техник обучения с учителем в масштабе без необходимости модели вознаграждения и онлайн вывода. Мы демонстрируем эффективность SRPO в терминах побед AI (WR) над человеческими (GOLD) завершениями. В частности, когда SRPO оценивается на наборе данных OOD XSUM, он превосходит известный DPO с явным отрывом в 15% после 5 самопересмотров, достигая WR 90%.

English

Both online and offline RLHF methods such as PPO and DPO have been extremely successful in aligning AI with human preferences. Despite their success, the existing methods suffer from a fundamental problem that their optimal solution is highly task-dependent (i.e., not robust to out-of-distribution (OOD) tasks). Here we address this challenge by proposing Self-Improving Robust Preference Optimization SRPO, a practical and mathematically principled offline RLHF framework that is completely robust to the changes in the task. The key idea of SRPO is to cast the problem of learning from human preferences as a self-improvement process, which can be mathematically expressed in terms of a min-max objective that aims at joint optimization of self-improvement policy and the generative policy in an adversarial fashion. The solution for this optimization problem is independent of the training task and thus it is robust to its changes. We then show that this objective can be re-expressed in the form of a non-adversarial offline loss which can be optimized using standard supervised optimization techniques at scale without any need for reward model and online inference. We show the effectiveness of SRPO in terms of AI Win-Rate (WR) against human (GOLD) completions. In particular, when SRPO is evaluated on the OOD XSUM dataset, it outperforms the celebrated DPO by a clear margin of 15% after 5 self-revisions, achieving WR of 90%.