Los humanos esperan racionalidad y cooperación de los oponentes basados en LLM en juegos estratégicos.

Humans expect rationality and cooperation from LLM opponents in strategic games

May 16, 2025

Autores: Darija Barak, Miguel Costa-Gomes

cs.AI

Resumen

A medida que los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés) se integran en nuestras interacciones sociales y económicas, es necesario profundizar en nuestra comprensión de cómo los humanos responden a los LLMs en entornos estratégicos. Presentamos los resultados del primer experimento de laboratorio controlado y monetariamente incentivado que examina las diferencias en el comportamiento humano en un concurso de belleza p con múltiples jugadores, enfrentándose tanto a otros humanos como a LLMs. Utilizamos un diseño intra-sujeto para comparar el comportamiento a nivel individual. Demostramos que, en este entorno, los sujetos humanos eligen números significativamente más bajos cuando juegan contra LLMs que contra humanos, lo cual está principalmente impulsado por una mayor prevalencia de elecciones de equilibrio de Nash en 'cero'. Este cambio es principalmente impulsado por sujetos con alta capacidad de razonamiento estratégico. Los sujetos que eligen la estrategia de equilibrio de Nash en cero justifican su decisión apelando a la percepción de la capacidad de razonamiento de los LLMs y, de manera inesperada, a su propensión hacia la cooperación. Nuestros hallazgos proporcionan conocimientos fundamentales sobre la interacción humano-LLM en juegos de elección simultánea con múltiples jugadores, revelan heterogeneidades tanto en el comportamiento de los sujetos como en sus creencias sobre el juego de los LLMs cuando compiten contra ellos, y sugieren implicaciones importantes para el diseño de mecanismos en sistemas mixtos humano-LLM.

English

As Large Language Models (LLMs) integrate into our social and economic interactions, we need to deepen our understanding of how humans respond to LLMs opponents in strategic settings. We present the results of the first controlled monetarily-incentivised laboratory experiment looking at differences in human behaviour in a multi-player p-beauty contest against other humans and LLMs. We use a within-subject design in order to compare behaviour at the individual level. We show that, in this environment, human subjects choose significantly lower numbers when playing against LLMs than humans, which is mainly driven by the increased prevalence of `zero' Nash-equilibrium choices. This shift is mainly driven by subjects with high strategic reasoning ability. Subjects who play the zero Nash-equilibrium choice motivate their strategy by appealing to perceived LLM's reasoning ability and, unexpectedly, propensity towards cooperation. Our findings provide foundational insights into the multi-player human-LLM interaction in simultaneous choice games, uncover heterogeneities in both subjects' behaviour and beliefs about LLM's play when playing against them, and suggest important implications for mechanism design in mixed human-LLM systems.