GTAlign: Игро-теоретическое согласование ассистентов на основе больших языковых моделей для взаимного благополучия

GTAlign: Game-Theoretic Alignment of LLM Assistants for Mutual Welfare

October 10, 2025

Авторы: Siqi Zhu, David Zhang, Pedro Cisneros-Velarde, Jiaxuan You

cs.AI

Аннотация

Крупные языковые модели (LLMs) достигли значительных успехов в области рассуждений, однако иногда выдают ответы, которые не являются оптимальными для пользователей в таких задачах, как написание текстов, поиск информации или предоставление практических рекомендаций. Традиционные подходы к согласованию обычно предполагают, что максимизация вознаграждения модели также максимизирует благополучие пользователя, но на практике это предположение часто не оправдывается: модели могут излишне детализировать или генерировать чрезмерно многословные рассуждения, в то время как пользователи предпочитают краткие ответы. Такое поведение напоминает дилемму заключённого, когда индивидуально рациональные выборы приводят к социально неоптимальным результатам. Основная проблема заключается в отсутствии принципиального механизма принятия решений, который был бы взаимовыгоден как для LLM, так и для пользователя. Мы предлагаем Game-Theoretic Alignment (GTAlign) — фреймворк для согласования, который интегрирует теорию игр в процессы рассуждения и обучения. В ходе рассуждения модель явно рассматривает взаимодействие пользователя и LLM как стратегическую игру: она строит матрицы выигрышей в цепочке рассуждений для оценки благополучия как себя, так и пользователя, а затем выбирает действия, которые являются взаимовыгодными. В процессе обучения мы вводим вознаграждение за взаимное благополучие, которое усиливает кооперативные ответы, согласуя поведение модели с социально эффективными результатами. Кроме того, мы представляем метод вывода, который использует теорию игр для динамической адаптации ответа LLM при изменении ценовой политики сервиса. Эксперименты показывают, что GTAlign значительно улучшает эффективность рассуждений, качество ответов и взаимное благополучие по сравнению с базовыми подходами в различных задачах. Код доступен по адресу https://github.com/ulab-uiuc/GTAlign.

English

Large Language Models (LLMs) have achieved remarkable progress in reasoning, yet sometimes produce responses that are suboptimal for users in tasks such as writing, information seeking, or providing practical guidance. Conventional alignment practices typically assume that maximizing model reward also maximizes user welfare, but this assumption frequently fails in practice: models may over-clarify or generate overly verbose reasoning when users prefer concise answers. Such behaviors resemble the prisoner's dilemma, where individually rational choices lead to socially suboptimal outcomes. The fundamental challenge is the lack of a principled decision making mechanism that mutually benefits both the LLM and the user. We propose Game-Theoretic Alignment (GTAlign), an alignment framework that integrates game-theoretic decision making into both reasoning and training. During reasoning, the model explicitly treats user-LLM interaction as a strategic game: it constructs payoff matrices within its reasoning chain to estimate welfare for both itself and the user, and then selects actions that are mutually beneficial. During training, we introduce a mutual welfare reward that reinforces cooperative responses, aligning model behavior with socially efficient outcomes. In addition, we introduce an inference technique that leverages game-theoretic reasoning to dynamically adapt LLM's response when pricing policies of LLM service change. Extensive experiments demonstrate that GTAlign substantially improves reasoning efficiency, answer quality, and mutual welfare compared to baselines across diverse tasks. The code is available at https://github.com/ulab-uiuc/GTAlign .