Otimização de Preferências de Nash para Multiplayer

Resumo

O aprendizado por reforço com feedback humano (RLHF) emergiu como o paradigma padrão para alinhar grandes modelos de linguagem (LLMs) com as preferências humanas. No entanto, métodos baseados em recompensa construídos sobre a suposição de Bradley-Terry lutam para capturar a natureza não transitiva e heterogênea das preferências do mundo real. Para abordar isso, estudos recentes reformularam o alinhamento como um jogo de Nash de dois jogadores, dando origem ao aprendizado de Nash com feedback humano (NLHF). Embora essa perspectiva tenha inspirado algoritmos como INPO, ONPO e EGPO com fortes garantias teóricas e empíricas, eles permanecem fundamentalmente restritos a interações de dois jogadores, criando um viés de único oponente que falha em capturar a complexidade completa das estruturas de preferências realistas. Neste trabalho, introduzimos a Otimização de Preferências de Nash Multiplayer (MNPO), uma nova estrutura que generaliza o NLHF para o regime multiplayer. Ela formula o alinhamento como um jogo de n jogadores, onde cada política compete contra uma população de oponentes enquanto é regularizada em direção a um modelo de referência. Nossa estrutura estabelece equilíbrios de Nash bem definidos em configurações multiplayer e estende o conceito de lacuna de dualidade para quantificar a qualidade da aproximação. Demonstramos que o MNPO herda as garantias de equilíbrio dos métodos de dois jogadores, ao mesmo tempo em que permite dinâmicas competitivas mais ricas e uma cobertura melhorada de estruturas de preferências diversas. Por meio de uma avaliação empírica abrangente, mostramos que o MNPO supera consistentemente as bases de NLHF existentes em benchmarks de seguimento de instruções, alcançando qualidade de alinhamento superior sob condições de anotadores heterogêneos e cenários de avaliação de políticas mistas. Juntos, esses resultados estabelecem o MNPO como uma estrutura principiada e escalável para alinhar LLMs com preferências humanas complexas e não transitivas. O código está disponível em https://github.com/smiles724/MNPO.

English

Reinforcement learning from human feedback (RLHF) has emerged as the standard paradigm for aligning large language models (LLMs) with human preferences. However, reward-based methods built on the Bradley-Terry assumption struggle to capture the non-transitive and heterogeneous nature of real-world preferences. To address this, recent studies have reframed alignment as a two-player Nash game, giving rise to Nash learning from human feedback (NLHF). While this perspective has inspired algorithms such as INPO, ONPO, and EGPO with strong theoretical and empirical guarantees, they remain fundamentally restricted to two-player interactions, creating a single-opponent bias that fails to capture the full complexity of realistic preference structures. In this work, we introduce Multiplayer Nash Preference Optimization (MNPO), a novel framework that generalizes NLHF to the multiplayer regime. It formulates alignment as an n-player game, where each policy competes against a population of opponents while being regularized toward a reference model. Our framework establishes well-defined Nash equilibria in multiplayer settings and extends the concept of duality gap to quantify approximation quality. We demonstrate that MNPO inherits the equilibrium guarantees of two-player methods while enabling richer competitive dynamics and improved coverage of diverse preference structures. Through comprehensive empirical evaluation, we show that MNPO consistently outperforms existing NLHF baselines on instruction-following benchmarks, achieving superior alignment quality under heterogeneous annotator conditions and mixed-policy evaluation scenarios. Together, these results establish MNPO as a principled and scalable framework for aligning LLMs with complex, non-transitive human preferences. Code is available at https://github.com/smiles724/MNPO.