Grote Taalmodellen gaan ervan uit dat mensen rationeler zijn dan we in werkelijkheid zijn.

Large Language Models Assume People are More Rational than We Really are

June 24, 2024

Auteurs: Ryan Liu, Jiayi Geng, Joshua C. Peterson, Ilia Sucholutsky, Thomas L. Griffiths

cs.AI

Samenvatting

Om effectief te kunnen communiceren met mensen, moeten AI-systemen begrijpen hoe wij beslissingen nemen. Mensen nemen echter niet altijd rationele beslissingen, dus de impliciete interne modellen van menselijke besluitvorming in Large Language Models (LLMs) moeten hiermee rekening houden. Eerder empirisch bewijs lijkt erop te wijzen dat deze impliciete modellen accuraat zijn — LLMs bieden geloofwaardige benaderingen van menselijk gedrag en gedragen zich zoals we verwachten dat mensen zouden doen in alledaagse interacties. Door het gedrag en de voorspellingen van LLMs echter te vergelijken met een grote dataset van menselijke beslissingen, ontdekken we dat dit eigenlijk niet het geval is: bij het simuleren en voorspellen van menselijke keuzes gaan een reeks geavanceerde LLMs (GPT-4o & 4-Turbo, Llama-3-8B & 70B, Claude 3 Opus) ervan uit dat mensen rationeler zijn dan we in werkelijkheid zijn. Specifiek wijken deze modellen af van menselijk gedrag en sluiten ze meer aan bij een klassiek model van rationele keuze — de verwachtingswaardetheorie. Interessant is dat mensen ook de neiging hebben om aan te nemen dat andere mensen rationeel handelen wanneer ze hun gedrag interpreteren. Als gevolg hiervan ontdekken we, wanneer we de conclusies die LLMs en mensen trekken uit de beslissingen van anderen vergelijken met behulp van een andere psychologische dataset, dat deze conclusies sterk gecorreleerd zijn. De impliciete besluitvormingsmodellen van LLMs lijken dus in lijn te zijn met de menselijke verwachting dat andere mensen rationeel zullen handelen, in plaats van met hoe mensen daadwerkelijk handelen.

English

In order for AI systems to communicate effectively with people, they must understand how we make decisions. However, people's decisions are not always rational, so the implicit internal models of human decision-making in Large Language Models (LLMs) must account for this. Previous empirical evidence seems to suggest that these implicit models are accurate -- LLMs offer believable proxies of human behavior, acting how we expect humans would in everyday interactions. However, by comparing LLM behavior and predictions to a large dataset of human decisions, we find that this is actually not the case: when both simulating and predicting people's choices, a suite of cutting-edge LLMs (GPT-4o & 4-Turbo, Llama-3-8B & 70B, Claude 3 Opus) assume that people are more rational than we really are. Specifically, these models deviate from human behavior and align more closely with a classic model of rational choice -- expected value theory. Interestingly, people also tend to assume that other people are rational when interpreting their behavior. As a consequence, when we compare the inferences that LLMs and people draw from the decisions of others using another psychological dataset, we find that these inferences are highly correlated. Thus, the implicit decision-making models of LLMs appear to be aligned with the human expectation that other people will act rationally, rather than with how people actually act.