대규모 언어 모델과 반복 게임 플레이하기

초록

대형 언어 모델(LLMs)은 사회를 변화시키고 다양한 응용 분야로 확산되고 있다. 결과적으로, LLMs는 우리와 다른 에이전트들과 빈번하게 상호작용할 것이다. 따라서, LLMs가 상호작용적인 사회적 환경에서 어떻게 행동하는지 이해하는 것은 큰 사회적 가치를 지닌다. 본 연구에서는 행동 게임 이론을 사용하여 LLMs의 협력 및 조정 행동을 연구하고자 한다. 이를 위해, 서로 다른 LLMs(GPT-3, GPT-3.5, GPT-4)가 서로 그리고 인간과 유사한 전략과 유한 반복 게임을 하도록 했다. 연구 결과, LLMs는 일반적으로 이러한 과제에서 잘 수행하며, 지속적인 행동 특성을 보여준다. 두 명의 플레이어와 두 가지 전략으로 구성된 다양한 게임에서, LLMs는 자신의 이익을 중시하는 게임, 예를 들어 반복 죄수의 딜레마 계열에서 특히 뛰어난 성과를 보였다. 그러나 조정이 필요한 게임에서는 최적의 행동을 보이지 못했다. 따라서, 우리는 이러한 서로 다른 계열의 게임 중 두 가지에 초점을 맞추었다. 전형적인 반복 죄수의 딜레마에서, GPT-4는 특히 용서하지 않는 행동을 보였으며, 다른 에이전트가 단 한 번만 배신하더라도 항상 배신했다. 성의 전투 게임에서는, GPT-4가 옵션 간에 번갈아 선택하는 단순한 관례를 따르지 못했다. 이러한 행동 특성은 견고성 검사를 통해 안정적임을 확인했다. 마지막으로, GPT-4의 행동을 수정할 수 있는 방법을 보여주었다. 다른 플레이어에 대한 추가 정보를 제공하거나, 선택하기 전에 다른 플레이어의 행동을 예측하도록 요청함으로써 행동을 변경할 수 있었다. 이러한 결과는 LLMs의 사회적 행동에 대한 이해를 풍부하게 하고, 기계를 위한 행동 게임 이론의 길을 열어준다.

English

Large Language Models (LLMs) are transforming society and permeating into diverse applications. As a result, LLMs will frequently interact with us and other agents. It is, therefore, of great societal value to understand how LLMs behave in interactive social settings. Here, we propose to use behavioral game theory to study LLM's cooperation and coordination behavior. To do so, we let different LLMs (GPT-3, GPT-3.5, and GPT-4) play finitely repeated games with each other and with other, human-like strategies. Our results show that LLMs generally perform well in such tasks and also uncover persistent behavioral signatures. In a large set of two players-two strategies games, we find that LLMs are particularly good at games where valuing their own self-interest pays off, like the iterated Prisoner's Dilemma family. However, they behave sub-optimally in games that require coordination. We, therefore, further focus on two games from these distinct families. In the canonical iterated Prisoner's Dilemma, we find that GPT-4 acts particularly unforgivingly, always defecting after another agent has defected only once. In the Battle of the Sexes, we find that GPT-4 cannot match the behavior of the simple convention to alternate between options. We verify that these behavioral signatures are stable across robustness checks. Finally, we show how GPT-4's behavior can be modified by providing further information about the other player as well as by asking it to predict the other player's actions before making a choice. These results enrich our understanding of LLM's social behavior and pave the way for a behavioral game theory for machines.

대규모 언어 모델과 반복 게임 플레이하기

Playing repeated games with Large Language Models

초록

Support