Игра в повторяющиеся игры с большими языковыми моделями

Аннотация

Крупные языковые модели (LLM) трансформируют общество и проникают в разнообразные приложения. В результате LLM будут часто взаимодействовать с нами и другими агентами. Поэтому понимание того, как LLM ведут себя в интерактивных социальных условиях, имеет большую общественную ценность. В данной работе мы предлагаем использовать поведенческую теорию игр для изучения кооперативного и координационного поведения LLM. Для этого мы позволили различным LLM (GPT-3, GPT-3.5 и GPT-4) играть в конечные повторяющиеся игры друг с другом и с другими, человеко-подобными стратегиями. Наши результаты показывают, что LLM в целом хорошо справляются с такими задачами, а также выявляют устойчивые поведенческие паттерны. В большом наборе игр с двумя игроками и двумя стратегиями мы обнаружили, что LLM особенно эффективны в играх, где выгодно учитывать собственные интересы, например, в семействе итеративных дилемм заключенного. Однако они демонстрируют субоптимальное поведение в играх, требующих координации. Поэтому мы дополнительно сосредоточились на двух играх из этих различных семейств. В канонической итеративной дилемме заключенного мы обнаружили, что GPT-4 действует особенно непрощающе, всегда предавая после того, как другой агент предал всего один раз. В игре "Битва полов" мы выяснили, что GPT-4 не может соответствовать поведению простой конвенции чередования вариантов. Мы подтверждаем, что эти поведенческие паттерны устойчивы при проверке на надежность. Наконец, мы показываем, как поведение GPT-4 можно изменить, предоставляя дополнительную информацию о другом игроке, а также прося его предсказать действия другого игрока перед принятием решения. Эти результаты обогащают наше понимание социального поведения LLM и прокладывают путь к поведенческой теории игр для машин.

English

Large Language Models (LLMs) are transforming society and permeating into diverse applications. As a result, LLMs will frequently interact with us and other agents. It is, therefore, of great societal value to understand how LLMs behave in interactive social settings. Here, we propose to use behavioral game theory to study LLM's cooperation and coordination behavior. To do so, we let different LLMs (GPT-3, GPT-3.5, and GPT-4) play finitely repeated games with each other and with other, human-like strategies. Our results show that LLMs generally perform well in such tasks and also uncover persistent behavioral signatures. In a large set of two players-two strategies games, we find that LLMs are particularly good at games where valuing their own self-interest pays off, like the iterated Prisoner's Dilemma family. However, they behave sub-optimally in games that require coordination. We, therefore, further focus on two games from these distinct families. In the canonical iterated Prisoner's Dilemma, we find that GPT-4 acts particularly unforgivingly, always defecting after another agent has defected only once. In the Battle of the Sexes, we find that GPT-4 cannot match the behavior of the simple convention to alternate between options. We verify that these behavioral signatures are stable across robustness checks. Finally, we show how GPT-4's behavior can be modified by providing further information about the other player as well as by asking it to predict the other player's actions before making a choice. These results enrich our understanding of LLM's social behavior and pave the way for a behavioral game theory for machines.

Игра в повторяющиеся игры с большими языковыми моделями

Playing repeated games with Large Language Models

Аннотация

Support