Multiplayer Nash Voorkeursoptimalisatie

Samenvatting

Reinforcement learning from human feedback (RLHF) is uitgegroeid tot het standaardparadigma voor het afstemmen van grote taalmodelen (LLMs) op menselijke voorkeuren. Beloningsgebaseerde methoden die zijn gebouwd op de Bradley-Terry-aanname hebben echter moeite om de niet-transitieve en heterogene aard van real-world voorkeuren vast te leggen. Om dit aan te pakken, hebben recente studies alignment herformuleerd als een Nash-spel voor twee spelers, wat heeft geleid tot Nash learning from human feedback (NLHF). Hoewel dit perspectief algoritmen zoals INPO, ONPO en EGPO heeft geïnspireerd met sterke theoretische en empirische garanties, blijven ze fundamenteel beperkt tot interacties tussen twee spelers, wat een single-opponent bias creëert die niet in staat is de volledige complexiteit van realistische voorkeursstructuren vast te leggen. In dit werk introduceren we Multiplayer Nash Preference Optimization (MNPO), een nieuw framework dat NLHF generaliseert naar het multiplayer-regime. Het formuleert alignment als een n-speler spel, waarbij elk beleid concurreert tegen een populatie van tegenstanders terwijl het wordt geregulariseerd naar een referentiemodel. Ons framework stelt goed gedefinieerde Nash-evenwichten vast in multiplayer-instellingen en breidt het concept van de dualiteitskloof uit om de benaderingskwaliteit te kwantificeren. We tonen aan dat MNPO de evenwichtsgaranties van methoden voor twee spelers behoudt, terwijl het rijkere competitieve dynamieken en een verbeterde dekking van diverse voorkeursstructuren mogelijk maakt. Door middel van uitgebreide empirische evaluatie laten we zien dat MNPO consistent beter presteert dan bestaande NLHF-baselines op benchmarks voor instructievolging, waarbij het superieure alignmentkwaliteit bereikt onder heterogene annotatorcondities en gemengde beleidsevaluatiescenario's. Samen stellen deze resultaten MNPO vast als een principieel en schaalbaar framework voor het afstemmen van LLMs op complexe, niet-transitieve menselijke voorkeuren. Code is beschikbaar op https://github.com/smiles724/MNPO.

English

Reinforcement learning from human feedback (RLHF) has emerged as the standard paradigm for aligning large language models (LLMs) with human preferences. However, reward-based methods built on the Bradley-Terry assumption struggle to capture the non-transitive and heterogeneous nature of real-world preferences. To address this, recent studies have reframed alignment as a two-player Nash game, giving rise to Nash learning from human feedback (NLHF). While this perspective has inspired algorithms such as INPO, ONPO, and EGPO with strong theoretical and empirical guarantees, they remain fundamentally restricted to two-player interactions, creating a single-opponent bias that fails to capture the full complexity of realistic preference structures. In this work, we introduce Multiplayer Nash Preference Optimization (MNPO), a novel framework that generalizes NLHF to the multiplayer regime. It formulates alignment as an n-player game, where each policy competes against a population of opponents while being regularized toward a reference model. Our framework establishes well-defined Nash equilibria in multiplayer settings and extends the concept of duality gap to quantify approximation quality. We demonstrate that MNPO inherits the equilibrium guarantees of two-player methods while enabling richer competitive dynamics and improved coverage of diverse preference structures. Through comprehensive empirical evaluation, we show that MNPO consistently outperforms existing NLHF baselines on instruction-following benchmarks, achieving superior alignment quality under heterogeneous annotator conditions and mixed-policy evaluation scenarios. Together, these results establish MNPO as a principled and scalable framework for aligning LLMs with complex, non-transitive human preferences. Code is available at https://github.com/smiles724/MNPO.