Accélération de l'apprentissage de Nash à partir de retours humains via la méthode de prox miroir
Accelerating Nash Learning from Human Feedback via Mirror Prox
May 26, 2025
Auteurs: Daniil Tiapkin, Daniele Calandriello, Denis Belomestny, Eric Moulines, Alexey Naumov, Kashif Rasul, Michal Valko, Pierre Menard
cs.AI
Résumé
L'apprentissage par renforcement traditionnel à partir de retours humains (RLHF) repose souvent sur des modèles de récompense, supposant fréquemment des structures de préférences comme le modèle de Bradley-Terry, qui peuvent ne pas capturer avec précision les complexités des préférences humaines réelles (par exemple, l'intransitivité). L'apprentissage de Nash à partir de retours humains (NLHF) propose une alternative plus directe en formulant le problème comme la recherche d'un équilibre de Nash dans un jeu défini par ces préférences. Dans ce travail, nous introduisons Nash Mirror Prox (Nash-MP), un algorithme NLHF en ligne qui exploite le schéma d'optimisation Mirror Prox pour atteindre une convergence rapide et stable vers l'équilibre de Nash. Notre analyse théorique établit que Nash-MP présente une convergence linéaire de la dernière itération vers l'équilibre de Nash régularisé par beta. Plus précisément, nous prouvons que la divergence de Kullback-Leibler par rapport à la politique optimale diminue à un taux de l'ordre de (1+2beta)^{-N/2}, où N est le nombre de requêtes de préférences. Nous démontrons également une convergence linéaire de la dernière itération pour l'écart d'exploitabilité et uniformément pour la semi-norme de l'écart des log-probabilités, tous ces taux étant indépendants de la taille de l'espace d'actions. De plus, nous proposons et analysons une version approximative de Nash-MP où les étapes proximales sont estimées en utilisant des gradients de politique stochastiques, rapprochant ainsi l'algorithme des applications pratiques. Enfin, nous détaillons une stratégie d'implémentation pratique pour le réglage fin de grands modèles de langage et présentons des expériences qui démontrent ses performances compétitives et sa compatibilité avec les méthodes existantes.
English
Traditional Reinforcement Learning from Human Feedback (RLHF) often relies on
reward models, frequently assuming preference structures like the Bradley-Terry
model, which may not accurately capture the complexities of real human
preferences (e.g., intransitivity). Nash Learning from Human Feedback (NLHF)
offers a more direct alternative by framing the problem as finding a Nash
equilibrium of a game defined by these preferences. In this work, we introduce
Nash Mirror Prox (Nash-MP), an online NLHF algorithm that leverages
the Mirror Prox optimization scheme to achieve fast and stable convergence to
the Nash equilibrium. Our theoretical analysis establishes that Nash-MP
exhibits last-iterate linear convergence towards the beta-regularized Nash
equilibrium. Specifically, we prove that the KL-divergence to the optimal
policy decreases at a rate of order (1+2beta)^{-N/2}, where N is a number
of preference queries. We further demonstrate last-iterate linear convergence
for the exploitability gap and uniformly for the span semi-norm of
log-probabilities, with all these rates being independent of the size of the
action space. Furthermore, we propose and analyze an approximate version of
Nash-MP where proximal steps are estimated using stochastic policy gradients,
making the algorithm closer to applications. Finally, we detail a practical
implementation strategy for fine-tuning large language models and present
experiments that demonstrate its competitive performance and compatibility with
existing methods.Summary
AI-Generated Summary