Les humains s'attendent à ce que les adversaires LLM fassent preuve de rationalité et de coopération dans les jeux stratégiques.

Humans expect rationality and cooperation from LLM opponents in strategic games

May 16, 2025

Auteurs: Darija Barak, Miguel Costa-Gomes

cs.AI

Résumé

Alors que les modèles de langage de grande taille (LLMs) s'intègrent dans nos interactions sociales et économiques, il est essentiel d'approfondir notre compréhension de la manière dont les humains réagissent face aux LLMs dans des contextes stratégiques. Nous présentons les résultats de la première expérience de laboratoire contrôlée et monétairement incitée, examinant les différences de comportement humain dans un concours de beauté-p à plusieurs joueurs contre d'autres humains et contre des LLMs. Nous utilisons un plan d'étude intra-sujet afin de comparer les comportements au niveau individuel. Nous montrons que, dans cet environnement, les sujets humains choisissent des nombres significativement plus faibles lorsqu'ils jouent contre des LLMs que contre des humains, ce qui est principalement dû à la prévalence accrue des choix d'équilibre de Nash à 'zéro'. Ce changement est principalement motivé par les sujets ayant une forte capacité de raisonnement stratégique. Les sujets qui choisissent l'équilibre de Nash à zéro justifient leur stratégie en invoquant la capacité de raisonnement perçue des LLMs et, de manière inattendue, leur propension à la coopération. Nos résultats fournissent des insights fondamentaux sur l'interaction multi-joueurs entre humains et LLMs dans des jeux à choix simultanés, révèlent des hétérogénéités dans le comportement des sujets et leurs croyances concernant le jeu des LLMs lorsqu'ils jouent contre eux, et suggèrent des implications importantes pour la conception de mécanismes dans des systèmes mixtes humains-LLMs.

English

As Large Language Models (LLMs) integrate into our social and economic interactions, we need to deepen our understanding of how humans respond to LLMs opponents in strategic settings. We present the results of the first controlled monetarily-incentivised laboratory experiment looking at differences in human behaviour in a multi-player p-beauty contest against other humans and LLMs. We use a within-subject design in order to compare behaviour at the individual level. We show that, in this environment, human subjects choose significantly lower numbers when playing against LLMs than humans, which is mainly driven by the increased prevalence of `zero' Nash-equilibrium choices. This shift is mainly driven by subjects with high strategic reasoning ability. Subjects who play the zero Nash-equilibrium choice motivate their strategy by appealing to perceived LLM's reasoning ability and, unexpectedly, propensity towards cooperation. Our findings provide foundational insights into the multi-player human-LLM interaction in simultaneous choice games, uncover heterogeneities in both subjects' behaviour and beliefs about LLM's play when playing against them, and suggest important implications for mechanism design in mixed human-LLM systems.