Beschleunigung des Nash-Lernens aus menschlichem Feedback durch Mirror Prox

Accelerating Nash Learning from Human Feedback via Mirror Prox

May 26, 2025

Autoren: Daniil Tiapkin, Daniele Calandriello, Denis Belomestny, Eric Moulines, Alexey Naumov, Kashif Rasul, Michal Valko, Pierre Menard

cs.AI

Zusammenfassung

Traditionelles Reinforcement Learning from Human Feedback (RLHF) stützt sich oft auf Belohnungsmodelle, die häufig Präferenzstrukturen wie das Bradley-Terry-Modell annehmen, welche die Komplexität realer menschlicher Präferenzen (z. B. Intransitivität) möglicherweise nicht genau erfassen. Nash Learning from Human Feedback (NLHF) bietet eine direktere Alternative, indem es das Problem als die Suche nach einem Nash-Gleichgewicht eines durch diese Präferenzen definierten Spiels formuliert. In dieser Arbeit stellen wir Nash Mirror Prox (Nash-MP) vor, einen Online-NLHF-Algorithmus, der das Mirror-Prox-Optimierungsschema nutzt, um eine schnelle und stabile Konvergenz zum Nash-Gleichgewicht zu erreichen. Unsere theoretische Analyse zeigt, dass Nash-MP eine letztiterative lineare Konvergenz zum beta-regularierten Nash-Gleichgewicht aufweist. Insbesondere beweisen wir, dass die KL-Divergenz zur optimalen Politik mit einer Rate der Ordnung (1+2beta)^{-N/2} abnimmt, wobei N die Anzahl der Präferenzabfragen ist. Wir zeigen weiterhin eine letztiterative lineare Konvergenz für die Exploitability-Lücke und gleichmäßig für die Span-Halbnorm der Log-Wahrscheinlichkeiten, wobei alle diese Raten unabhängig von der Größe des Aktionsraums sind. Darüber hinaus schlagen wir eine approximative Version von Nash-MP vor und analysieren sie, bei der proximale Schritte mithilfe stochastischer Politikgradienten geschätzt werden, wodurch der Algorithmus näher an Anwendungen heranrückt. Schließlich erläutern wir eine praktische Implementierungsstrategie zur Feinabstimmung großer Sprachmodelle und präsentieren Experimente, die ihre wettbewerbsfähige Leistung und Kompatibilität mit bestehenden Methoden demonstrieren.

English

Traditional Reinforcement Learning from Human Feedback (RLHF) often relies on reward models, frequently assuming preference structures like the Bradley-Terry model, which may not accurately capture the complexities of real human preferences (e.g., intransitivity). Nash Learning from Human Feedback (NLHF) offers a more direct alternative by framing the problem as finding a Nash equilibrium of a game defined by these preferences. In this work, we introduce Nash Mirror Prox (Nash-MP), an online NLHF algorithm that leverages the Mirror Prox optimization scheme to achieve fast and stable convergence to the Nash equilibrium. Our theoretical analysis establishes that Nash-MP exhibits last-iterate linear convergence towards the beta-regularized Nash equilibrium. Specifically, we prove that the KL-divergence to the optimal policy decreases at a rate of order (1+2beta)^{-N/2}, where N is a number of preference queries. We further demonstrate last-iterate linear convergence for the exploitability gap and uniformly for the span semi-norm of log-probabilities, with all these rates being independent of the size of the action space. Furthermore, we propose and analyze an approximate version of Nash-MP where proximal steps are estimated using stochastic policy gradients, making the algorithm closer to applications. Finally, we detail a practical implementation strategy for fine-tuning large language models and present experiments that demonstrate its competitive performance and compatibility with existing methods.