Multiplayer-Nash-Präferenzoptimierung

papers.abstract

Reinforcement Learning from Human Feedback (RLHF) hat sich als Standardparadigma für die Ausrichtung großer Sprachmodelle (LLMs) an menschlichen Präferenzen etabliert. Belohnungsbasierte Methoden, die auf der Bradley-Terry-Annahme basieren, haben jedoch Schwierigkeiten, die nicht-transitive und heterogene Natur realer Präferenzen zu erfassen. Um dies zu adressieren, haben neuere Studien die Ausrichtung als Zwei-Spieler-Nash-Spiel neu formuliert, was zu Nash Learning from Human Feedback (NLHF) geführt hat. Während diese Perspektive Algorithmen wie INPO, ONPO und EGPO mit starken theoretischen und empirischen Garantien inspiriert hat, bleiben sie grundsätzlich auf Zwei-Spieler-Interaktionen beschränkt, was eine Einzelgegner-Verzerrung erzeugt, die die volle Komplexität realistischer Präferenzstrukturen nicht erfassen kann. In dieser Arbeit stellen wir Multiplayer Nash Preference Optimization (MNPO) vor, ein neuartiges Framework, das NLHF auf den Multiplayer-Bereich verallgemeinert. Es formuliert die Ausrichtung als ein n-Spieler-Spiel, bei dem jede Strategie gegen eine Population von Gegnern antritt, während sie in Richtung eines Referenzmodells regularisiert wird. Unser Framework etabliert wohldefinierte Nash-Gleichgewichte in Multiplayer-Settings und erweitert das Konzept der Dualitätslücke, um die Approximationsqualität zu quantifizieren. Wir zeigen, dass MNPO die Gleichgewichtsgarantien von Zwei-Spieler-Methoden erbt, während es reichere Wettbewerbsdynamiken und eine verbesserte Abdeckung diverser Präferenzstrukturen ermöglicht. Durch umfassende empirische Evaluation zeigen wir, dass MNPO bestehende NLHF-Baselines auf Benchmarks zur Befolgung von Anweisungen konsequent übertrifft und eine überlegene Ausrichtungsqualität unter heterogenen Annotator-Bedingungen und gemischten Strategie-Evaluationsszenarien erreicht. Zusammen etablieren diese Ergebnisse MNPO als ein prinzipielles und skalierbares Framework für die Ausrichtung von LLMs an komplexen, nicht-transitiven menschlichen Präferenzen. Der Code ist verfügbar unter https://github.com/smiles724/MNPO.

English

Reinforcement learning from human feedback (RLHF) has emerged as the standard paradigm for aligning large language models (LLMs) with human preferences. However, reward-based methods built on the Bradley-Terry assumption struggle to capture the non-transitive and heterogeneous nature of real-world preferences. To address this, recent studies have reframed alignment as a two-player Nash game, giving rise to Nash learning from human feedback (NLHF). While this perspective has inspired algorithms such as INPO, ONPO, and EGPO with strong theoretical and empirical guarantees, they remain fundamentally restricted to two-player interactions, creating a single-opponent bias that fails to capture the full complexity of realistic preference structures. In this work, we introduce Multiplayer Nash Preference Optimization (MNPO), a novel framework that generalizes NLHF to the multiplayer regime. It formulates alignment as an n-player game, where each policy competes against a population of opponents while being regularized toward a reference model. Our framework establishes well-defined Nash equilibria in multiplayer settings and extends the concept of duality gap to quantify approximation quality. We demonstrate that MNPO inherits the equilibrium guarantees of two-player methods while enabling richer competitive dynamics and improved coverage of diverse preference structures. Through comprehensive empirical evaluation, we show that MNPO consistently outperforms existing NLHF baselines on instruction-following benchmarks, achieving superior alignment quality under heterogeneous annotator conditions and mixed-policy evaluation scenarios. Together, these results establish MNPO as a principled and scalable framework for aligning LLMs with complex, non-transitive human preferences. Code is available at https://github.com/smiles724/MNPO.