Люди ожидают рациональности и кооперации от оппонентов в виде крупных языковых моделей в стратегических играх.

Humans expect rationality and cooperation from LLM opponents in strategic games

May 16, 2025

Авторы: Darija Barak, Miguel Costa-Gomes

cs.AI

Аннотация

По мере интеграции крупных языковых моделей (LLM) в наши социальные и экономические взаимодействия, необходимо углубить понимание того, как люди реагируют на LLM в стратегических условиях. Мы представляем результаты первого контролируемого лабораторного эксперимента с денежным стимулированием, изучающего различия в поведении людей в многопользовательской игре p-beauty contest против других людей и LLM. Мы используем внутрисубъектный дизайн для сравнения поведения на индивидуальном уровне. Мы показываем, что в этой среде люди выбирают значительно меньшие числа при игре против LLM, чем против людей, что в основном обусловлено увеличением частоты выбора «нулевого» равновесия по Нэшу. Этот сдвиг в основном наблюдается у субъектов с высоким уровнем стратегического мышления. Субъекты, выбирающие нулевое равновесие по Нэшу, мотивируют свою стратегию, ссылаясь на воспринимаемую способность LLM к рассуждению и, что неожиданно, склонность к сотрудничеству. Наши результаты предоставляют фундаментальные инсайты о взаимодействии людей и LLM в многопользовательских играх с одновременным выбором, выявляют неоднородности как в поведении субъектов, так и в их убеждениях относительно игры LLM, а также предлагают важные выводы для проектирования механизмов в смешанных системах человек-LLM.

English

As Large Language Models (LLMs) integrate into our social and economic interactions, we need to deepen our understanding of how humans respond to LLMs opponents in strategic settings. We present the results of the first controlled monetarily-incentivised laboratory experiment looking at differences in human behaviour in a multi-player p-beauty contest against other humans and LLMs. We use a within-subject design in order to compare behaviour at the individual level. We show that, in this environment, human subjects choose significantly lower numbers when playing against LLMs than humans, which is mainly driven by the increased prevalence of `zero' Nash-equilibrium choices. This shift is mainly driven by subjects with high strategic reasoning ability. Subjects who play the zero Nash-equilibrium choice motivate their strategy by appealing to perceived LLM's reasoning ability and, unexpectedly, propensity towards cooperation. Our findings provide foundational insights into the multi-player human-LLM interaction in simultaneous choice games, uncover heterogeneities in both subjects' behaviour and beliefs about LLM's play when playing against them, and suggest important implications for mechanism design in mixed human-LLM systems.