ゲーム理論に基づくLLM：交渉ゲームのためのエージェントワークフロー

Game-theoretic LLM: Agent Workflow for Negotiation Games

November 8, 2024

著者: Wenyue Hua, Ollie Liu, Lingyao Li, Alfonso Amayuelas, Julie Chen, Lucas Jiang, Mingyu Jin, Lizhou Fan, Fei Sun, William Wang, Xintong Wang, Yongfeng Zhang

cs.AI

要旨

この論文は、ゲーム理論の枠組み内で、大規模言語モデル（LLMs）の合理性を戦略的意思決定の文脈で調査しています。我々は、完全情報および不完全情報ゲームのスペクトルを横断していくつかの最先端のLLMsを評価します。我々の調査結果によれば、LLMsは、特に報酬行列が大きくなったり、より深い順次木構造になったりすると、合理的な戦略から頻繁に逸脱することが多いことが明らかになりました。 これらの制限に対処するために、LLMsの推論と意思決定プロセスを導く複数のゲーム理論的ワークフローを設計しています。これらのワークフローは、不確実性や不完全情報の条件下でもNash均衡を計算し、合理的な選択を行うモデルの能力を向上させることを目指しています。実験結果は、これらのワークフローの採用が、ゲーム理論的タスクにおけるLLMsの合理性と堅牢性を著しく向上させることを示しています。具体的には、ワークフローを用いることで、LLMsは最適戦略の特定、交渉シナリオにおけるほぼ最適な割り当ての達成、交渉中の搾取への脆弱性の低減において著しい改善を示します。さらに、エージェントがこのようなワークフローを採用することが合理的かどうかのメタ戦略的考慮を探求し、ワークフローの使用または放棄の決定自体がゲーム理論的な問題を構成することを認識しています。 本研究は、戦略的文脈におけるLLMsの意思決定能力に関するより深い理解を提供し、構造化されたワークフローを通じてその合理性を向上させる洞察を提供しています。これらの知見は、複雑なインタラクティブ環境を航行できるより堅牢で戦略的に優れたAIエージェントの開発に影響を与えます。この研究をサポートするコードとデータは、https://github.com/Wenyueh/game_theory で入手可能です。

English

This paper investigates the rationality of large language models (LLMs) in strategic decision-making contexts, specifically within the framework of game theory. We evaluate several state-of-the-art LLMs across a spectrum of complete-information and incomplete-information games. Our findings reveal that LLMs frequently deviate from rational strategies, particularly as the complexity of the game increases with larger payoff matrices or deeper sequential trees. To address these limitations, we design multiple game-theoretic workflows that guide the reasoning and decision-making processes of LLMs. These workflows aim to enhance the models' ability to compute Nash Equilibria and make rational choices, even under conditions of uncertainty and incomplete information. Experimental results demonstrate that the adoption of these workflows significantly improves the rationality and robustness of LLMs in game-theoretic tasks. Specifically, with the workflow, LLMs exhibit marked improvements in identifying optimal strategies, achieving near-optimal allocations in negotiation scenarios, and reducing susceptibility to exploitation during negotiations. Furthermore, we explore the meta-strategic considerations of whether it is rational for agents to adopt such workflows, recognizing that the decision to use or forgo the workflow constitutes a game-theoretic issue in itself. Our research contributes to a deeper understanding of LLMs' decision-making capabilities in strategic contexts and provides insights into enhancing their rationality through structured workflows. The findings have implications for the development of more robust and strategically sound AI agents capable of navigating complex interactive environments. Code and data supporting this study are available at https://github.com/Wenyueh/game_theory.