Les grands modèles de langage supposent que les gens sont plus rationnels qu'ils ne le sont réellement.

Large Language Models Assume People are More Rational than We Really are

June 24, 2024

Auteurs: Ryan Liu, Jiayi Geng, Joshua C. Peterson, Ilia Sucholutsky, Thomas L. Griffiths

cs.AI

Résumé

Pour que les systèmes d'IA communiquent efficacement avec les humains, ils doivent comprendre comment nous prenons des décisions. Cependant, les décisions humaines ne sont pas toujours rationnelles, donc les modèles internes implicites de prise de décision humaine dans les grands modèles de langage (LLMs) doivent en tenir compte. Les preuves empiriques précédentes semblent suggérer que ces modèles implicites sont précis — les LLMs offrent des proxys crédibles du comportement humain, agissant comme nous nous attendrions à ce que les humains le fassent dans les interactions quotidiennes. Cependant, en comparant le comportement et les prédictions des LLMs à un vaste ensemble de données de décisions humaines, nous constatons que ce n'est en réalité pas le cas : lorsqu'ils simulent et prédisent les choix des gens, une série de LLMs de pointe (GPT-4o & 4-Turbo, Llama-3-8B & 70B, Claude 3 Opus) supposent que les gens sont plus rationnels que nous ne le sommes réellement. Plus précisément, ces modèles s'écartent du comportement humain et s'alignent davantage sur un modèle classique de choix rationnel — la théorie de la valeur attendue. Fait intéressant, les gens ont également tendance à supposer que les autres sont rationnels lorsqu'ils interprètent leur comportement. Par conséquent, lorsque nous comparons les inférences que les LLMs et les gens tirent des décisions des autres en utilisant un autre ensemble de données psychologiques, nous constatons que ces inférences sont fortement corrélées. Ainsi, les modèles implicites de prise de décision des LLMs semblent alignés sur l'attente humaine que les autres agiront de manière rationnelle, plutôt que sur la façon dont les gens agissent réellement.

English

In order for AI systems to communicate effectively with people, they must understand how we make decisions. However, people's decisions are not always rational, so the implicit internal models of human decision-making in Large Language Models (LLMs) must account for this. Previous empirical evidence seems to suggest that these implicit models are accurate -- LLMs offer believable proxies of human behavior, acting how we expect humans would in everyday interactions. However, by comparing LLM behavior and predictions to a large dataset of human decisions, we find that this is actually not the case: when both simulating and predicting people's choices, a suite of cutting-edge LLMs (GPT-4o & 4-Turbo, Llama-3-8B & 70B, Claude 3 Opus) assume that people are more rational than we really are. Specifically, these models deviate from human behavior and align more closely with a classic model of rational choice -- expected value theory. Interestingly, people also tend to assume that other people are rational when interpreting their behavior. As a consequence, when we compare the inferences that LLMs and people draw from the decisions of others using another psychological dataset, we find that these inferences are highly correlated. Thus, the implicit decision-making models of LLMs appear to be aligned with the human expectation that other people will act rationally, rather than with how people actually act.