大規模言語モデルを用いた繰り返しゲームのプレイ

要旨

大規模言語モデル（LLMs）は社会を変革し、多様な応用分野に浸透しつつある。その結果、LLMsは我々や他のエージェントと頻繁に相互作用することになる。したがって、LLMsが相互作用する社会的状況においてどのように振る舞うかを理解することは、社会的に極めて重要な価値を持つ。本稿では、LLMsの協力と調整の行動を研究するために、行動ゲーム理論を用いることを提案する。そのために、異なるLLMs（GPT-3、GPT-3.5、およびGPT-4）を互いに、また人間のような戦略を持つ他のエージェントと有限回繰り返しゲームを行わせた。その結果、LLMsは一般的にそのようなタスクにおいて良好なパフォーマンスを示すとともに、持続的な行動の特徴も明らかになった。2プレイヤー・2戦略のゲームの大規模なセットにおいて、LLMsは自身の利益を重視することが報われるゲーム、例えば繰り返し囚人のジレンマのファミリーにおいて特に優れていることがわかった。しかし、調整を必要とするゲームでは最適とは言えない振る舞いを示した。そこで、我々はこれらの異なるファミリーから2つのゲームにさらに焦点を当てた。典型的な繰り返し囚人のジレンマにおいて、GPT-4は特に寛容さに欠け、他のエージェントが一度でも裏切ると必ず裏切る行動を示した。一方、男女の戦い（Battle of the Sexes）においては、GPT-4は選択肢を交互に選ぶという単純な慣習に従うことができなかった。これらの行動の特徴は、ロバストネスチェックにおいても安定していることを確認した。最後に、GPT-4の行動が、他のプレイヤーに関する追加情報を提供することや、選択を行う前に他のプレイヤーの行動を予測するよう指示することによって修正可能であることを示した。これらの結果は、LLMsの社会的行動に関する理解を深め、機械のための行動ゲーム理論への道を開くものである。

English

Large Language Models (LLMs) are transforming society and permeating into diverse applications. As a result, LLMs will frequently interact with us and other agents. It is, therefore, of great societal value to understand how LLMs behave in interactive social settings. Here, we propose to use behavioral game theory to study LLM's cooperation and coordination behavior. To do so, we let different LLMs (GPT-3, GPT-3.5, and GPT-4) play finitely repeated games with each other and with other, human-like strategies. Our results show that LLMs generally perform well in such tasks and also uncover persistent behavioral signatures. In a large set of two players-two strategies games, we find that LLMs are particularly good at games where valuing their own self-interest pays off, like the iterated Prisoner's Dilemma family. However, they behave sub-optimally in games that require coordination. We, therefore, further focus on two games from these distinct families. In the canonical iterated Prisoner's Dilemma, we find that GPT-4 acts particularly unforgivingly, always defecting after another agent has defected only once. In the Battle of the Sexes, we find that GPT-4 cannot match the behavior of the simple convention to alternate between options. We verify that these behavioral signatures are stable across robustness checks. Finally, we show how GPT-4's behavior can be modified by providing further information about the other player as well as by asking it to predict the other player's actions before making a choice. These results enrich our understanding of LLM's social behavior and pave the way for a behavioral game theory for machines.

大規模言語モデルを用いた繰り返しゲームのプレイ

Playing repeated games with Large Language Models

要旨

Support