GTAlign: 相互の福利のためのLLMアシスタントのゲーム理論的アラインメント

要旨

大規模言語モデル（LLMs）は推論において顕著な進歩を遂げてきたが、文章作成、情報検索、実践的なガイダンス提供などのタスクにおいて、ユーザーにとって最適とは言えない応答を生成することがある。従来のアライメント手法では、モデルの報酬を最大化することがユーザーの福利も最大化すると仮定されることが一般的だが、この仮定は実際にはしばしば成立しない。例えば、ユーザーが簡潔な回答を求める場合に、モデルが過剰に説明を加えたり冗長な推論を生成したりすることがある。このような振る舞いは、個々の合理的な選択が社会的に最適でない結果を招く「囚人のジレンマ」に似ている。根本的な課題は、LLMとユーザーの双方に利益をもたらす原則的な意思決定メカニズムが欠如していることである。本研究では、ゲーム理論的アライメント（GTAlign）を提案する。これは、推論とトレーニングの両方にゲーム理論的決定を統合するアライメントフレームワークである。推論中、モデルはユーザーとLLMの相互作用を戦略的ゲームとして明示的に扱い、推論チェーン内で報酬行列を構築して自身とユーザーの双方の福利を推定し、相互に利益をもたらす行動を選択する。トレーニング中には、協力的な応答を強化する相互福利報酬を導入し、モデルの振る舞いを社会的に効率的な結果にアライメントする。さらに、LLMサービスの価格設定ポリシーが変更された際に、ゲーム理論的推論を活用してLLMの応答を動的に適応させる推論技術を導入する。大規模な実験により、GTAlignが多様なタスクにおいてベースラインと比較して推論効率、回答品質、相互福利を大幅に向上させることが実証された。コードはhttps://github.com/ulab-uiuc/GTAlignで公開されている。

English

Large Language Models (LLMs) have achieved remarkable progress in reasoning, yet sometimes produce responses that are suboptimal for users in tasks such as writing, information seeking, or providing practical guidance. Conventional alignment practices typically assume that maximizing model reward also maximizes user welfare, but this assumption frequently fails in practice: models may over-clarify or generate overly verbose reasoning when users prefer concise answers. Such behaviors resemble the prisoner's dilemma, where individually rational choices lead to socially suboptimal outcomes. The fundamental challenge is the lack of a principled decision making mechanism that mutually benefits both the LLM and the user. We propose Game-Theoretic Alignment (GTAlign), an alignment framework that integrates game-theoretic decision making into both reasoning and training. During reasoning, the model explicitly treats user-LLM interaction as a strategic game: it constructs payoff matrices within its reasoning chain to estimate welfare for both itself and the user, and then selects actions that are mutually beneficial. During training, we introduce a mutual welfare reward that reinforces cooperative responses, aligning model behavior with socially efficient outcomes. In addition, we introduce an inference technique that leverages game-theoretic reasoning to dynamically adapt LLM's response when pricing policies of LLM service change. Extensive experiments demonstrate that GTAlign substantially improves reasoning efficiency, answer quality, and mutual welfare compared to baselines across diverse tasks. The code is available at https://github.com/ulab-uiuc/GTAlign .

GTAlign: 相互の福利のためのLLMアシスタントのゲーム理論的アラインメント

GTAlign: Game-Theoretic Alignment of LLM Assistants for Mutual Welfare

要旨

Support