I grandi modelli linguistici presuppongono che le persone siano più razionali di quanto non siamo in realtà.

Large Language Models Assume People are More Rational than We Really are

June 24, 2024

Autori: Ryan Liu, Jiayi Geng, Joshua C. Peterson, Ilia Sucholutsky, Thomas L. Griffiths

cs.AI

Abstract

Affinché i sistemi di IA comunichino efficacemente con le persone, devono comprendere come prendiamo decisioni. Tuttavia, le decisioni umane non sono sempre razionali, quindi i modelli interni impliciti del processo decisionale umano nei Large Language Models (LLMs) devono tenerne conto. Le precedenti evidenze empiriche sembrano suggerire che questi modelli impliciti siano accurati: gli LLMs offrono proxy credibili del comportamento umano, agendo come ci aspetteremmo che gli umani farebbero nelle interazioni quotidiane. Tuttavia, confrontando il comportamento e le previsioni degli LLMs con un ampio dataset di decisioni umane, scopriamo che in realtà non è così: quando simulano e prevedono le scelte delle persone, una serie di LLMs all'avanguardia (GPT-4o & 4-Turbo, Llama-3-8B & 70B, Claude 3 Opus) presuppongono che le persone siano più razionali di quanto non siano realmente. Nello specifico, questi modelli deviano dal comportamento umano e si allineano più strettamente a un classico modello di scelta razionale: la teoria del valore atteso. È interessante notare che anche le persone tendono a presumere che gli altri siano razionali quando interpretano il loro comportamento. Di conseguenza, quando confrontiamo le inferenze che gli LLMs e le persone traggono dalle decisioni altrui utilizzando un altro dataset psicologico, scopriamo che queste inferenze sono altamente correlate. Pertanto, i modelli impliciti di decisione degli LLMs sembrano allinearsi con l'aspettativa umana che gli altri agiranno razionalmente, piuttosto che con il modo in cui le persone agiscono realmente.

English

In order for AI systems to communicate effectively with people, they must understand how we make decisions. However, people's decisions are not always rational, so the implicit internal models of human decision-making in Large Language Models (LLMs) must account for this. Previous empirical evidence seems to suggest that these implicit models are accurate -- LLMs offer believable proxies of human behavior, acting how we expect humans would in everyday interactions. However, by comparing LLM behavior and predictions to a large dataset of human decisions, we find that this is actually not the case: when both simulating and predicting people's choices, a suite of cutting-edge LLMs (GPT-4o & 4-Turbo, Llama-3-8B & 70B, Claude 3 Opus) assume that people are more rational than we really are. Specifically, these models deviate from human behavior and align more closely with a classic model of rational choice -- expected value theory. Interestingly, people also tend to assume that other people are rational when interpreting their behavior. As a consequence, when we compare the inferences that LLMs and people draw from the decisions of others using another psychological dataset, we find that these inferences are highly correlated. Thus, the implicit decision-making models of LLMs appear to be aligned with the human expectation that other people will act rationally, rather than with how people actually act.