Mensen verwachten rationaliteit en samenwerking van LLM-tegenstanders in strategische spellen.

Humans expect rationality and cooperation from LLM opponents in strategic games

May 16, 2025

Auteurs: Darija Barak, Miguel Costa-Gomes

cs.AI

Samenvatting

Naarmate Large Language Models (LLM's) zich integreren in onze sociale en economische interacties, is het nodig om ons begrip te verdiepen van hoe mensen reageren op LLM's in strategische situaties. We presenteren de resultaten van het eerste gecontroleerde, monetair gestimuleerde laboratoriumexperiment dat kijkt naar verschillen in menselijk gedrag in een multi-player p-beauty contest tegen andere mensen en LLM's. We gebruiken een within-subject ontwerp om gedrag op individueel niveau te vergelijken. We laten zien dat, in deze omgeving, menselijke proefpersonen significant lagere getallen kiezen wanneer ze tegen LLM's spelen dan tegen mensen, wat voornamelijk wordt gedreven door de toegenomen prevalentie van 'nul' Nash-evenwichtkeuzes. Deze verschuiving wordt vooral veroorzaakt door proefpersonen met een hoog strategisch redeneervermogen. Proefpersonen die de nul Nash-evenwichtkeuze spelen, motiveren hun strategie door te verwijzen naar het waargenomen redeneervermogen van de LLM en, onverwacht, de neiging tot samenwerking. Onze bevindingen bieden fundamentele inzichten in de multi-player interactie tussen mens en LLM in simultane keuzespellen, onthullen heterogeniteiten in zowel het gedrag van proefpersonen als hun overtuigingen over het spel van LLM's wanneer ze tegen hen spelen, en suggereren belangrijke implicaties voor mechanismeontwerp in gemengde mens-LLM-systemen.

English

As Large Language Models (LLMs) integrate into our social and economic interactions, we need to deepen our understanding of how humans respond to LLMs opponents in strategic settings. We present the results of the first controlled monetarily-incentivised laboratory experiment looking at differences in human behaviour in a multi-player p-beauty contest against other humans and LLMs. We use a within-subject design in order to compare behaviour at the individual level. We show that, in this environment, human subjects choose significantly lower numbers when playing against LLMs than humans, which is mainly driven by the increased prevalence of `zero' Nash-equilibrium choices. This shift is mainly driven by subjects with high strategic reasoning ability. Subjects who play the zero Nash-equilibrium choice motivate their strategy by appealing to perceived LLM's reasoning ability and, unexpectedly, propensity towards cooperation. Our findings provide foundational insights into the multi-player human-LLM interaction in simultaneous choice games, uncover heterogeneities in both subjects' behaviour and beliefs about LLM's play when playing against them, and suggest important implications for mechanism design in mixed human-LLM systems.