Grandes Modelos de Linguagem Pressupõem que as Pessoas são Mais Racionais do que Realmente Somos

Large Language Models Assume People are More Rational than We Really are

June 24, 2024

Autores: Ryan Liu, Jiayi Geng, Joshua C. Peterson, Ilia Sucholutsky, Thomas L. Griffiths

cs.AI

Resumo

Para que os sistemas de IA possam se comunicar efetivamente com as pessoas, eles devem entender como tomamos decisões. No entanto, as decisões das pessoas nem sempre são racionais, então os modelos internos implícitos de tomada de decisão humana em Modelos de Linguagem de Grande Escala (LLMs) devem levar isso em consideração. Evidências empíricas anteriores parecem sugerir que esses modelos implícitos são precisos - os LLMs oferecem proxies críveis do comportamento humano, agindo como esperamos que os humanos agiriam em interações cotidianas. No entanto, ao comparar o comportamento e as previsões dos LLMs com um grande conjunto de dados de decisões humanas, descobrimos que esse não é realmente o caso: ao simular e prever as escolhas das pessoas, uma série de LLMs de ponta (GPT-4o & 4-Turbo, Llama-3-8B & 70B, Claude 3 Opus) assumem que as pessoas são mais racionais do que realmente somos. Especificamente, esses modelos se afastam do comportamento humano e se alinham mais estreitamente com um modelo clássico de escolha racional - a teoria do valor esperado. Curiosamente, as pessoas também tendem a assumir que outras pessoas são racionais ao interpretar seu comportamento. Como consequência, ao compararmos as inferências que os LLMs e as pessoas fazem a partir das decisões dos outros usando outro conjunto de dados psicológicos, descobrimos que essas inferências estão altamente correlacionadas. Assim, os modelos implícitos de tomada de decisão dos LLMs parecem estar alinhados com a expectativa humana de que outras pessoas agirão racionalmente, em vez de como as pessoas realmente agem.

English

In order for AI systems to communicate effectively with people, they must understand how we make decisions. However, people's decisions are not always rational, so the implicit internal models of human decision-making in Large Language Models (LLMs) must account for this. Previous empirical evidence seems to suggest that these implicit models are accurate -- LLMs offer believable proxies of human behavior, acting how we expect humans would in everyday interactions. However, by comparing LLM behavior and predictions to a large dataset of human decisions, we find that this is actually not the case: when both simulating and predicting people's choices, a suite of cutting-edge LLMs (GPT-4o & 4-Turbo, Llama-3-8B & 70B, Claude 3 Opus) assume that people are more rational than we really are. Specifically, these models deviate from human behavior and align more closely with a classic model of rational choice -- expected value theory. Interestingly, people also tend to assume that other people are rational when interpreting their behavior. As a consequence, when we compare the inferences that LLMs and people draw from the decisions of others using another psychological dataset, we find that these inferences are highly correlated. Thus, the implicit decision-making models of LLMs appear to be aligned with the human expectation that other people will act rationally, rather than with how people actually act.