Jouer à des jeux répétés avec des modèles de langage de grande taille

Résumé

Les modèles de langage de grande taille (LLMs) transforment la société et s'intègrent dans des applications diverses. Par conséquent, les LLMs interagiront fréquemment avec nous et d'autres agents. Il est donc d'une grande valeur sociétale de comprendre comment les LLMs se comportent dans des contextes sociaux interactifs. Ici, nous proposons d'utiliser la théorie des jeux comportementale pour étudier le comportement de coopération et de coordination des LLMs. Pour ce faire, nous avons fait jouer différents LLMs (GPT-3, GPT-3.5 et GPT-4) à des jeux répétés de manière finie entre eux et avec d'autres stratégies de type humain. Nos résultats montrent que les LLMs performent généralement bien dans de telles tâches et révèlent également des signatures comportementales persistantes. Dans un large ensemble de jeux à deux joueurs et deux stratégies, nous constatons que les LLMs sont particulièrement performants dans les jeux où valoriser leur propre intérêt est payant, comme dans la famille du dilemme du prisonnier itéré. Cependant, ils se comportent de manière sous-optimale dans les jeux qui nécessitent de la coordination. Nous nous concentrons donc davantage sur deux jeux issus de ces familles distinctes. Dans le dilemme du prisonnier itéré canonique, nous constatons que GPT-4 agit de manière particulièrement impitoyable, en défaussant toujours après qu'un autre agent ait défaussé une seule fois. Dans la bataille des sexes, nous constatons que GPT-4 ne parvient pas à reproduire le comportement de la simple convention consistant à alterner entre les options. Nous vérifions que ces signatures comportementales sont stables à travers des tests de robustesse. Enfin, nous montrons comment le comportement de GPT-4 peut être modifié en fournissant des informations supplémentaires sur l'autre joueur ainsi qu'en lui demandant de prédire les actions de l'autre joueur avant de faire un choix. Ces résultats enrichissent notre compréhension du comportement social des LLMs et ouvrent la voie à une théorie des jeux comportementale pour les machines.

English

Large Language Models (LLMs) are transforming society and permeating into diverse applications. As a result, LLMs will frequently interact with us and other agents. It is, therefore, of great societal value to understand how LLMs behave in interactive social settings. Here, we propose to use behavioral game theory to study LLM's cooperation and coordination behavior. To do so, we let different LLMs (GPT-3, GPT-3.5, and GPT-4) play finitely repeated games with each other and with other, human-like strategies. Our results show that LLMs generally perform well in such tasks and also uncover persistent behavioral signatures. In a large set of two players-two strategies games, we find that LLMs are particularly good at games where valuing their own self-interest pays off, like the iterated Prisoner's Dilemma family. However, they behave sub-optimally in games that require coordination. We, therefore, further focus on two games from these distinct families. In the canonical iterated Prisoner's Dilemma, we find that GPT-4 acts particularly unforgivingly, always defecting after another agent has defected only once. In the Battle of the Sexes, we find that GPT-4 cannot match the behavior of the simple convention to alternate between options. We verify that these behavioral signatures are stable across robustness checks. Finally, we show how GPT-4's behavior can be modified by providing further information about the other player as well as by asking it to predict the other player's actions before making a choice. These results enrich our understanding of LLM's social behavior and pave the way for a behavioral game theory for machines.

Jouer à des jeux répétés avec des modèles de langage de grande taille

Playing repeated games with Large Language Models

Résumé

Support