Menschen erwarten Rationalität und Kooperation von LLM-Gegnern in strategischen Spielen.

Humans expect rationality and cooperation from LLM opponents in strategic games

May 16, 2025

Autoren: Darija Barak, Miguel Costa-Gomes

cs.AI

Zusammenfassung

Da Large Language Models (LLMs) zunehmend in unsere sozialen und wirtschaftlichen Interaktionen integriert werden, müssen wir unser Verständnis vertiefen, wie Menschen auf LLMs in strategischen Situationen reagieren. Wir präsentieren die Ergebnisse des ersten kontrollierten, monetär incentivierten Laborexperiments, das Unterschiede im menschlichen Verhalten in einem Multiplayer-p-Beauty-Contest gegen andere Menschen und LLMs untersucht. Wir verwenden ein Within-Subject-Design, um das Verhalten auf individueller Ebene zu vergleichen. Wir zeigen, dass in diesem Umfeld menschliche Probanden signifikant niedrigere Zahlen wählen, wenn sie gegen LLMs spielen als gegen Menschen, was hauptsächlich auf die erhöhte Prävalenz von „Null“-Nash-Gleichgewichtsentscheidungen zurückzuführen ist. Diese Verschiebung wird hauptsächlich von Probanden mit hoher strategischer Denkfähigkeit angetrieben. Probanden, die die Null-Nash-Gleichgewichtsentscheidung wählen, begründen ihre Strategie mit der wahrgenommenen Denkfähigkeit der LLMs und, überraschenderweise, ihrer Neigung zur Kooperation. Unsere Ergebnisse liefern grundlegende Einblicke in die Multiplayer-Interaktion zwischen Mensch und LLM in Simultaneous-Choice-Spielen, decken Heterogenitäten sowohl im Verhalten der Probanden als auch in ihren Überzeugungen über das Spielverhalten der LLMs auf und deuten auf wichtige Implikationen für das Mechanismusdesign in gemischten Mensch-LLM-Systemen hin.

English

As Large Language Models (LLMs) integrate into our social and economic interactions, we need to deepen our understanding of how humans respond to LLMs opponents in strategic settings. We present the results of the first controlled monetarily-incentivised laboratory experiment looking at differences in human behaviour in a multi-player p-beauty contest against other humans and LLMs. We use a within-subject design in order to compare behaviour at the individual level. We show that, in this environment, human subjects choose significantly lower numbers when playing against LLMs than humans, which is mainly driven by the increased prevalence of `zero' Nash-equilibrium choices. This shift is mainly driven by subjects with high strategic reasoning ability. Subjects who play the zero Nash-equilibrium choice motivate their strategy by appealing to perceived LLM's reasoning ability and, unexpectedly, propensity towards cooperation. Our findings provide foundational insights into the multi-player human-LLM interaction in simultaneous choice games, uncover heterogeneities in both subjects' behaviour and beliefs about LLM's play when playing against them, and suggest important implications for mechanism design in mixed human-LLM systems.