人間は戦略ゲームにおいて、LLM（大規模言語モデル）の対戦相手から合理性と協調性を期待する。

Humans expect rationality and cooperation from LLM opponents in strategic games

May 16, 2025

著者: Darija Barak, Miguel Costa-Gomes

cs.AI

要旨

大規模言語モデル（LLMs）が私たちの社会的・経済的相互作用に統合されるにつれ、戦略的環境において人間がLLMsの対戦相手にどのように反応するかについての理解を深める必要があります。本研究では、人間同士の対戦とLLMsとの対戦における人間の行動の違いを、金銭的インセンティブ付きの制御された実験室実験で初めて検証した結果を提示します。個人レベルでの行動を比較するために、被験者内デザインを採用しました。この環境において、人間の被験者はLLMsと対戦する場合、人間と対戦する場合に比べて有意に低い数字を選択することが明らかになりました。これは主に「ゼロ」ナッシュ均衡選択の増加によって引き起こされています。この変化は、特に戦略的推論能力が高い被験者によって主導されています。ゼロナッシュ均衡選択を行う被験者は、その戦略を、LLMsの推論能力と、予想外にも協調性への傾向に対する認識に基づいて正当化しています。本研究の知見は、同時選択ゲームにおける多人数の人間-LLM相互作用に関する基礎的な洞察を提供し、被験者の行動とLLMsのプレイに対する信念の異質性を明らかにし、人間-LLM混合システムにおけるメカニズムデザインへの重要な示唆を示唆しています。

English

As Large Language Models (LLMs) integrate into our social and economic interactions, we need to deepen our understanding of how humans respond to LLMs opponents in strategic settings. We present the results of the first controlled monetarily-incentivised laboratory experiment looking at differences in human behaviour in a multi-player p-beauty contest against other humans and LLMs. We use a within-subject design in order to compare behaviour at the individual level. We show that, in this environment, human subjects choose significantly lower numbers when playing against LLMs than humans, which is mainly driven by the increased prevalence of `zero' Nash-equilibrium choices. This shift is mainly driven by subjects with high strategic reasoning ability. Subjects who play the zero Nash-equilibrium choice motivate their strategy by appealing to perceived LLM's reasoning ability and, unexpectedly, propensity towards cooperation. Our findings provide foundational insights into the multi-player human-LLM interaction in simultaneous choice games, uncover heterogeneities in both subjects' behaviour and beliefs about LLM's play when playing against them, and suggest important implications for mechanism design in mixed human-LLM systems.