Os seres humanos esperam racionalidade e cooperação de oponentes baseados em LLMs em jogos estratégicos.

Humans expect rationality and cooperation from LLM opponents in strategic games

May 16, 2025

Autores: Darija Barak, Miguel Costa-Gomes

cs.AI

Resumo

À medida que os Modelos de Linguagem de Grande Escala (LLMs) se integram às nossas interações sociais e econômicas, é necessário aprofundar nossa compreensão de como os humanos respondem a oponentes LLMs em contextos estratégicos. Apresentamos os resultados do primeiro experimento laboratorial controlado e monetariamente incentivado que examina as diferenças no comportamento humano em um concurso de beleza-p com múltiplos jogadores contra outros humanos e LLMs. Utilizamos um design intra-sujeito para comparar o comportamento no nível individual. Demonstramos que, nesse ambiente, os sujeitos humanos escolhem números significativamente menores ao jogar contra LLMs do que contra humanos, o que é principalmente impulsionado pelo aumento na prevalência de escolhas de equilíbrio de Nash 'zero'. Essa mudança é principalmente conduzida por sujeitos com alta capacidade de raciocínio estratégico. Os sujeitos que escolhem o equilíbrio de Nash zero justificam sua estratégia apelando para a percepção da capacidade de raciocínio dos LLMs e, inesperadamente, para uma propensão à cooperação. Nossas descobertas fornecem insights fundamentais sobre a interação humano-LLM em jogos de escolha simultânea com múltiplos jogadores, revelam heterogeneidades tanto no comportamento dos sujeitos quanto nas crenças sobre o jogo dos LLMs ao enfrentá-los, e sugerem implicações importantes para o design de mecanismos em sistemas mistos humano-LLM.

English

As Large Language Models (LLMs) integrate into our social and economic interactions, we need to deepen our understanding of how humans respond to LLMs opponents in strategic settings. We present the results of the first controlled monetarily-incentivised laboratory experiment looking at differences in human behaviour in a multi-player p-beauty contest against other humans and LLMs. We use a within-subject design in order to compare behaviour at the individual level. We show that, in this environment, human subjects choose significantly lower numbers when playing against LLMs than humans, which is mainly driven by the increased prevalence of `zero' Nash-equilibrium choices. This shift is mainly driven by subjects with high strategic reasoning ability. Subjects who play the zero Nash-equilibrium choice motivate their strategy by appealing to perceived LLM's reasoning ability and, unexpectedly, propensity towards cooperation. Our findings provide foundational insights into the multi-player human-LLM interaction in simultaneous choice games, uncover heterogeneities in both subjects' behaviour and beliefs about LLM's play when playing against them, and suggest important implications for mechanism design in mixed human-LLM systems.