인간은 전략 게임에서 LLM 상대방이 합리적이고 협력적으로 행동할 것을 기대합니다.

Humans expect rationality and cooperation from LLM opponents in strategic games

May 16, 2025

저자: Darija Barak, Miguel Costa-Gomes

cs.AI

초록

대규모 언어 모델(LLM)이 우리의 사회적, 경제적 상호작용에 통합됨에 따라, 인간이 전략적 환경에서 LLM 상대에 어떻게 반응하는지에 대한 이해를 심화할 필요가 있습니다. 우리는 다중 참가자 p-뷰티 콘테스트에서 인간 대 인간과 인간 대 LLM 간의 행동 차이를 살펴보는 최초의 통제된 금전적 인센티브 실험실 실험 결과를 제시합니다. 우리는 개인 수준에서의 행동을 비교하기 위해 피험자 내 설계를 사용합니다. 이 환경에서 인간 피험자들은 LLM과 대결할 때 인간과 대결할 때보다 유의미하게 낮은 숫자를 선택하며, 이는 주로 '제로' 내쉬 균형 선택의 증가된 빈도에 의해 주도됩니다. 이러한 변화는 주로 높은 전략적 추론 능력을 가진 피험자들에 의해 주도됩니다. 제로 내쉬 균형 선택을 하는 피험자들은 LLM의 추론 능력과, 예상치 못하게도 협력 성향에 대한 인식에 호소하여 자신의 전략을 설명합니다. 우리의 연구 결과는 동시 선택 게임에서의 다중 참가자 인간-LLM 상호작용에 대한 기초적인 통찰을 제공하고, LLM과 대결할 때 피험자들의 행동과 LLM의 플레이에 대한 믿음의 이질성을 밝히며, 인간-LLM 혼합 시스템에서의 메커니즘 설계에 중요한 시사점을 제시합니다.

English

As Large Language Models (LLMs) integrate into our social and economic interactions, we need to deepen our understanding of how humans respond to LLMs opponents in strategic settings. We present the results of the first controlled monetarily-incentivised laboratory experiment looking at differences in human behaviour in a multi-player p-beauty contest against other humans and LLMs. We use a within-subject design in order to compare behaviour at the individual level. We show that, in this environment, human subjects choose significantly lower numbers when playing against LLMs than humans, which is mainly driven by the increased prevalence of `zero' Nash-equilibrium choices. This shift is mainly driven by subjects with high strategic reasoning ability. Subjects who play the zero Nash-equilibrium choice motivate their strategy by appealing to perceived LLM's reasoning ability and, unexpectedly, propensity towards cooperation. Our findings provide foundational insights into the multi-player human-LLM interaction in simultaneous choice games, uncover heterogeneities in both subjects' behaviour and beliefs about LLM's play when playing against them, and suggest important implications for mechanism design in mixed human-LLM systems.