Accelerazione dell'Apprendimento di Nash dal Feedback Umano tramite Mirror Prox

Accelerating Nash Learning from Human Feedback via Mirror Prox

May 26, 2025

Autori: Daniil Tiapkin, Daniele Calandriello, Denis Belomestny, Eric Moulines, Alexey Naumov, Kashif Rasul, Michal Valko, Pierre Menard

cs.AI

Abstract

L'Apprendimento per Rinforzo Tradizionale dal Feedback Umano (RLHF) si basa spesso su modelli di ricompensa, assumendo frequentemente strutture di preferenza come il modello Bradley-Terry, che potrebbero non catturare accuratamente le complessità delle preferenze umane reali (ad esempio, l'intransitività). L'Apprendimento Nash dal Feedback Umano (NLHF) offre un'alternativa più diretta inquadrando il problema come la ricerca di un equilibrio di Nash in un gioco definito da queste preferenze. In questo lavoro, introduciamo Nash Mirror Prox (Nash-MP), un algoritmo NLHF online che sfrutta lo schema di ottimizzazione Mirror Prox per ottenere una convergenza rapida e stabile verso l'equilibrio di Nash. La nostra analisi teorica stabilisce che Nash-MP mostra una convergenza lineare all'ultima iterazione verso l'equilibrio di Nash beta-regolarizzato. In particolare, dimostriamo che la divergenza KL rispetto alla politica ottimale diminuisce a un tasso dell'ordine (1+2beta)^{-N/2}, dove N è il numero di query di preferenza. Inoltre, dimostriamo una convergenza lineare all'ultima iterazione per il gap di sfruttabilità e uniformemente per la semi-norma dello span delle probabilità logaritmiche, con tutti questi tassi indipendenti dalla dimensione dello spazio delle azioni. Inoltre, proponiamo e analizziamo una versione approssimata di Nash-MP in cui i passi prossimali sono stimati utilizzando gradienti stocastici delle politiche, avvicinando l'algoritmo alle applicazioni pratiche. Infine, dettagliamo una strategia di implementazione pratica per il fine-tuning di grandi modelli linguistici e presentiamo esperimenti che ne dimostrano le prestazioni competitive e la compatibilità con i metodi esistenti.

English

Traditional Reinforcement Learning from Human Feedback (RLHF) often relies on reward models, frequently assuming preference structures like the Bradley-Terry model, which may not accurately capture the complexities of real human preferences (e.g., intransitivity). Nash Learning from Human Feedback (NLHF) offers a more direct alternative by framing the problem as finding a Nash equilibrium of a game defined by these preferences. In this work, we introduce Nash Mirror Prox (Nash-MP), an online NLHF algorithm that leverages the Mirror Prox optimization scheme to achieve fast and stable convergence to the Nash equilibrium. Our theoretical analysis establishes that Nash-MP exhibits last-iterate linear convergence towards the beta-regularized Nash equilibrium. Specifically, we prove that the KL-divergence to the optimal policy decreases at a rate of order (1+2beta)^{-N/2}, where N is a number of preference queries. We further demonstrate last-iterate linear convergence for the exploitability gap and uniformly for the span semi-norm of log-probabilities, with all these rates being independent of the size of the action space. Furthermore, we propose and analyze an approximate version of Nash-MP where proximal steps are estimated using stochastic policy gradients, making the algorithm closer to applications. Finally, we detail a practical implementation strategy for fine-tuning large language models and present experiments that demonstrate its competitive performance and compatibility with existing methods.