Herhaalde spellen spelen met Large Language Models

Samenvatting

Grote Taalmodellen (LLMs) transformeren de samenleving en dringen door in diverse toepassingen. Als gevolg hiervan zullen LLMs regelmatig met ons en andere agenten interacteren. Het is daarom van grote maatschappelijke waarde om te begrijpen hoe LLMs zich gedragen in interactieve sociale situaties. Hier stellen we voor om gedragsspeltheorie te gebruiken om het samenwerkings- en coördinatiegedrag van LLMs te bestuderen. Om dit te doen, laten we verschillende LLMs (GPT-3, GPT-3.5 en GPT-4) eindig herhaalde spellen met elkaar spelen en met andere, mensachtige strategieën. Onze resultaten tonen aan dat LLMs over het algemeen goed presteren in dergelijke taken en ook aanhoudende gedragskenmerken blootleggen. In een grote set van spellen met twee spelers en twee strategieën, vinden we dat LLMs vooral goed zijn in spellen waarin het waarderen van hun eigenbelang loont, zoals de familie van het iteratieve Prisoner's Dilemma. Echter, gedragen ze zich suboptimaal in spellen die coördinatie vereisen. Daarom richten we ons verder op twee spellen uit deze verschillende families. In het canonieke iteratieve Prisoner's Dilemma vinden we dat GPT-4 bijzonder onverzoenlijk handelt, altijd defecterend nadat een andere agent slechts één keer heeft gedefecteerd. In de Battle of the Sexes vinden we dat GPT-4 het gedrag van de eenvoudige conventie om af te wisselen tussen opties niet kan evenaren. We verifiëren dat deze gedragskenmerken stabiel zijn over robuustheidstesten heen. Tot slot tonen we aan hoe het gedrag van GPT-4 kan worden aangepast door aanvullende informatie over de andere speler te verstrekken en door het te vragen de acties van de andere speler te voorspellen voordat het een keuze maakt. Deze resultaten verrijken ons begrip van het sociale gedrag van LLMs en banen de weg voor een gedragsspeltheorie voor machines.

English

Large Language Models (LLMs) are transforming society and permeating into diverse applications. As a result, LLMs will frequently interact with us and other agents. It is, therefore, of great societal value to understand how LLMs behave in interactive social settings. Here, we propose to use behavioral game theory to study LLM's cooperation and coordination behavior. To do so, we let different LLMs (GPT-3, GPT-3.5, and GPT-4) play finitely repeated games with each other and with other, human-like strategies. Our results show that LLMs generally perform well in such tasks and also uncover persistent behavioral signatures. In a large set of two players-two strategies games, we find that LLMs are particularly good at games where valuing their own self-interest pays off, like the iterated Prisoner's Dilemma family. However, they behave sub-optimally in games that require coordination. We, therefore, further focus on two games from these distinct families. In the canonical iterated Prisoner's Dilemma, we find that GPT-4 acts particularly unforgivingly, always defecting after another agent has defected only once. In the Battle of the Sexes, we find that GPT-4 cannot match the behavior of the simple convention to alternate between options. We verify that these behavioral signatures are stable across robustness checks. Finally, we show how GPT-4's behavior can be modified by providing further information about the other player as well as by asking it to predict the other player's actions before making a choice. These results enrich our understanding of LLM's social behavior and pave the way for a behavioral game theory for machines.

Herhaalde spellen spelen met Large Language Models

Playing repeated games with Large Language Models

Samenvatting

Support