Optimisation Robuste des Préférences par Auto-Amélioration

Self-Improving Robust Preference Optimization

June 3, 2024

Auteurs: Eugene Choi, Arash Ahmadian, Matthieu Geist, Oilvier Pietquin, Mohammad Gheshlaghi Azar

cs.AI

Résumé

Les méthodes de RLHF (Reinforcement Learning from Human Feedback) en ligne et hors ligne, telles que PPO et DPO, ont été extrêmement efficaces pour aligner l'IA sur les préférences humaines. Malgré leur succès, ces méthodes souffrent d'un problème fondamental : leur solution optimale est fortement dépendante de la tâche (c'est-à-dire qu'elle n'est pas robuste aux tâches hors distribution, ou OOD). Nous relevons ce défi en proposant SRPO (Self-Improving Robust Preference Optimization), un cadre pratique et mathématiquement fondé de RLHF hors ligne qui est entièrement robuste aux changements de tâche. L'idée clé de SRPO est de formuler le problème d'apprentissage à partir des préférences humaines comme un processus d'auto-amélioration, qui peut être exprimé mathématiquement par un objectif min-max visant à optimiser conjointement la politique d'auto-amélioration et la politique générative de manière antagoniste. La solution à ce problème d'optimisation est indépendante de la tâche d'entraînement et donc robuste à ses changements. Nous montrons ensuite que cet objectif peut être reformulé sous la forme d'une perte hors ligne non antagoniste, qui peut être optimisée à grande échelle à l'aide de techniques d'optimisation supervisée standard, sans nécessiter de modèle de récompense ni d'inférence en ligne. Nous démontrons l'efficacité de SRPO en termes de taux de victoire de l'IA (Win-Rate, WR) contre les complétions humaines (GOLD). En particulier, lorsque SRPO est évalué sur le jeu de données OOD XSUM, il surpasse le célèbre DPO avec une marge nette de 15 % après 5 auto-révisions, atteignant un WR de 90 %.

English

Both online and offline RLHF methods such as PPO and DPO have been extremely successful in aligning AI with human preferences. Despite their success, the existing methods suffer from a fundamental problem that their optimal solution is highly task-dependent (i.e., not robust to out-of-distribution (OOD) tasks). Here we address this challenge by proposing Self-Improving Robust Preference Optimization SRPO, a practical and mathematically principled offline RLHF framework that is completely robust to the changes in the task. The key idea of SRPO is to cast the problem of learning from human preferences as a self-improvement process, which can be mathematically expressed in terms of a min-max objective that aims at joint optimization of self-improvement policy and the generative policy in an adversarial fashion. The solution for this optimization problem is independent of the training task and thus it is robust to its changes. We then show that this objective can be re-expressed in the form of a non-adversarial offline loss which can be optimized using standard supervised optimization techniques at scale without any need for reward model and online inference. We show the effectiveness of SRPO in terms of AI Win-Rate (WR) against human (GOLD) completions. In particular, when SRPO is evaluated on the OOD XSUM dataset, it outperforms the celebrated DPO by a clear margin of 15% after 5 self-revisions, achieving WR of 90%.