Ottimizzazione delle Preferenze di Nash Multiplayer

Abstract

L'apprendimento per rinforzo basato sul feedback umano (RLHF) è emerso come il paradigma standard per allineare i grandi modelli linguistici (LLM) alle preferenze umane. Tuttavia, i metodi basati su ricompense costruiti sull'assunzione di Bradley-Terry faticano a catturare la natura non transitiva ed eterogenea delle preferenze del mondo reale. Per affrontare questo problema, studi recenti hanno riformulato l'allineamento come un gioco di Nash a due giocatori, dando vita all'apprendimento di Nash basato sul feedback umano (NLHF). Sebbene questa prospettiva abbia ispirato algoritmi come INPO, ONPO e EGPO con solide garanzie teoriche ed empiriche, essi rimangono fondamentalmente limitati alle interazioni a due giocatori, creando un bias di singolo avversario che non riesce a catturare la piena complessità delle strutture di preferenza realistiche. In questo lavoro, introduciamo l'ottimizzazione delle preferenze di Nash multiplayer (MNPO), un nuovo framework che generalizza NLHF al regime multiplayer. Esso formula l'allineamento come un gioco a n giocatori, in cui ogni politica compete contro una popolazione di avversari mentre viene regolarizzata verso un modello di riferimento. Il nostro framework stabilisce equilibri di Nash ben definiti in contesti multiplayer ed estende il concetto di gap di dualità per quantificare la qualità dell'approssimazione. Dimostriamo che MNPO eredita le garanzie di equilibrio dei metodi a due giocatori, consentendo dinamiche competitive più ricche e una migliore copertura di strutture di preferenza diverse. Attraverso una valutazione empirica completa, mostriamo che MNPO supera costantemente i benchmark NLHF esistenti nei test di follow-up delle istruzioni, raggiungendo una qualità di allineamento superiore in condizioni di annotatori eterogenei e scenari di valutazione a politiche miste. Insieme, questi risultati stabiliscono MNPO come un framework principiato e scalabile per allineare i LLM a preferenze umane complesse e non transitive. Il codice è disponibile all'indirizzo https://github.com/smiles724/MNPO.

English

Reinforcement learning from human feedback (RLHF) has emerged as the standard paradigm for aligning large language models (LLMs) with human preferences. However, reward-based methods built on the Bradley-Terry assumption struggle to capture the non-transitive and heterogeneous nature of real-world preferences. To address this, recent studies have reframed alignment as a two-player Nash game, giving rise to Nash learning from human feedback (NLHF). While this perspective has inspired algorithms such as INPO, ONPO, and EGPO with strong theoretical and empirical guarantees, they remain fundamentally restricted to two-player interactions, creating a single-opponent bias that fails to capture the full complexity of realistic preference structures. In this work, we introduce Multiplayer Nash Preference Optimization (MNPO), a novel framework that generalizes NLHF to the multiplayer regime. It formulates alignment as an n-player game, where each policy competes against a population of opponents while being regularized toward a reference model. Our framework establishes well-defined Nash equilibria in multiplayer settings and extends the concept of duality gap to quantify approximation quality. We demonstrate that MNPO inherits the equilibrium guarantees of two-player methods while enabling richer competitive dynamics and improved coverage of diverse preference structures. Through comprehensive empirical evaluation, we show that MNPO consistently outperforms existing NLHF baselines on instruction-following benchmarks, achieving superior alignment quality under heterogeneous annotator conditions and mixed-policy evaluation scenarios. Together, these results establish MNPO as a principled and scalable framework for aligning LLMs with complex, non-transitive human preferences. Code is available at https://github.com/smiles724/MNPO.