Многопользовательская оптимизация предпочтений по Нэшу

Аннотация

Обучение с подкреплением на основе человеческой обратной связи (RLHF) стало стандартной парадигмой для согласования крупных языковых моделей (LLM) с человеческими предпочтениями. Однако методы, основанные на вознаграждении и построенные на предположении Брэдли-Терри, с трудом учитывают нетранзитивную и неоднородную природу реальных предпочтений. Для решения этой проблемы последние исследования переосмыслили согласование как игру двух игроков в равновесии Нэша, что привело к появлению обучения Нэша на основе человеческой обратной связи (NLHF). Хотя эта перспектива вдохновила разработку алгоритмов, таких как INPO, ONPO и EGPO, с сильными теоретическими и эмпирическими гарантиями, они остаются принципиально ограниченными взаимодействием двух игроков, создавая смещение в сторону единственного оппонента, что не позволяет охватить всю сложность реалистичных структур предпочтений. В данной работе мы представляем Multiplayer Nash Preference Optimization (MNPO) — новый фреймворк, который обобщает NLHF на случай множества игроков. Он формулирует согласование как игру n игроков, где каждая политика конкурирует с популяцией оппонентов, одновременно регуляризуясь в сторону референсной модели. Наш фреймворк устанавливает четко определенные равновесия Нэша в условиях множества игроков и расширяет концепцию дуального разрыва для количественной оценки качества аппроксимации. Мы демонстрируем, что MNPO наследует гарантии равновесия методов для двух игроков, одновременно позволяя более богатую конкурентную динамику и улучшенное покрытие разнообразных структур предпочтений. В ходе всестороннего эмпирического анализа мы показываем, что MNPO последовательно превосходит существующие базовые методы NLHF на бенчмарках выполнения инструкций, достигая более высокого качества согласования в условиях неоднородных аннотаторов и сценариев оценки смешанных политик. В совокупности эти результаты устанавливают MNPO как принципиальный и масштабируемый фреймворк для согласования LLM со сложными, нетранзитивными человеческими предпочтениями. Код доступен по адресу https://github.com/smiles724/MNPO.

English

Reinforcement learning from human feedback (RLHF) has emerged as the standard paradigm for aligning large language models (LLMs) with human preferences. However, reward-based methods built on the Bradley-Terry assumption struggle to capture the non-transitive and heterogeneous nature of real-world preferences. To address this, recent studies have reframed alignment as a two-player Nash game, giving rise to Nash learning from human feedback (NLHF). While this perspective has inspired algorithms such as INPO, ONPO, and EGPO with strong theoretical and empirical guarantees, they remain fundamentally restricted to two-player interactions, creating a single-opponent bias that fails to capture the full complexity of realistic preference structures. In this work, we introduce Multiplayer Nash Preference Optimization (MNPO), a novel framework that generalizes NLHF to the multiplayer regime. It formulates alignment as an n-player game, where each policy competes against a population of opponents while being regularized toward a reference model. Our framework establishes well-defined Nash equilibria in multiplayer settings and extends the concept of duality gap to quantify approximation quality. We demonstrate that MNPO inherits the equilibrium guarantees of two-player methods while enabling richer competitive dynamics and improved coverage of diverse preference structures. Through comprehensive empirical evaluation, we show that MNPO consistently outperforms existing NLHF baselines on instruction-following benchmarks, achieving superior alignment quality under heterogeneous annotator conditions and mixed-policy evaluation scenarios. Together, these results establish MNPO as a principled and scalable framework for aligning LLMs with complex, non-transitive human preferences. Code is available at https://github.com/smiles724/MNPO.