Gli esseri umani si aspettano razionalità e cooperazione dagli avversari LLM nei giochi strategici.

Humans expect rationality and cooperation from LLM opponents in strategic games

May 16, 2025

Autori: Darija Barak, Miguel Costa-Gomes

cs.AI

Abstract

Man mano che i Modelli Linguistici di Grande Dimensione (LLM) si integrano nelle nostre interazioni sociali ed economiche, è necessario approfondire la comprensione di come gli esseri umani rispondono agli avversari LLM in contesti strategici. Presentiamo i risultati del primo esperimento di laboratorio controllato e monetariamente incentivato che esamina le differenze nel comportamento umano in un concorso di bellezza p multi-giocatore contro altri esseri umani e LLM. Utilizziamo un disegno within-subject per confrontare il comportamento a livello individuale. Dimostriamo che, in questo contesto, i soggetti umani scelgono numeri significativamente più bassi quando giocano contro LLM rispetto a quando giocano contro esseri umani, principalmente a causa della maggiore prevalenza di scelte di equilibrio di Nash pari a "zero". Questo cambiamento è principalmente guidato da soggetti con un'elevata capacità di ragionamento strategico. I soggetti che scelgono l'equilibrio di Nash pari a zero motivano la loro strategia facendo appello alla percezione della capacità di ragionamento degli LLM e, inaspettatamente, alla loro propensione alla cooperazione. I nostri risultati forniscono intuizioni fondamentali sull'interazione multi-giocatore uomo-LLM in giochi a scelta simultanea, rivelano eterogeneità sia nel comportamento dei soggetti che nelle loro convinzioni sul gioco degli LLM quando giocano contro di essi, e suggeriscono importanti implicazioni per il design dei meccanismi in sistemi misti uomo-LLM.

English

As Large Language Models (LLMs) integrate into our social and economic interactions, we need to deepen our understanding of how humans respond to LLMs opponents in strategic settings. We present the results of the first controlled monetarily-incentivised laboratory experiment looking at differences in human behaviour in a multi-player p-beauty contest against other humans and LLMs. We use a within-subject design in order to compare behaviour at the individual level. We show that, in this environment, human subjects choose significantly lower numbers when playing against LLMs than humans, which is mainly driven by the increased prevalence of `zero' Nash-equilibrium choices. This shift is mainly driven by subjects with high strategic reasoning ability. Subjects who play the zero Nash-equilibrium choice motivate their strategy by appealing to perceived LLM's reasoning ability and, unexpectedly, propensity towards cooperation. Our findings provide foundational insights into the multi-player human-LLM interaction in simultaneous choice games, uncover heterogeneities in both subjects' behaviour and beliefs about LLM's play when playing against them, and suggest important implications for mechanism design in mixed human-LLM systems.