Los modelos de lenguaje grandes asumen que las personas somos más racionales de lo que realmente somos.

Large Language Models Assume People are More Rational than We Really are

June 24, 2024

Autores: Ryan Liu, Jiayi Geng, Joshua C. Peterson, Ilia Sucholutsky, Thomas L. Griffiths

cs.AI

Resumen

Para que los sistemas de IA se comuniquen efectivamente con las personas, deben comprender cómo tomamos decisiones. Sin embargo, las decisiones humanas no siempre son racionales, por lo que los modelos internos implícitos de toma de decisiones humanas en los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés) deben tener esto en cuenta. Evidencia empírica previa parece sugerir que estos modelos implícitos son precisos: los LLMs ofrecen representaciones creíbles del comportamiento humano, actuando como esperaríamos que lo harían las personas en interacciones cotidianas. Sin embargo, al comparar el comportamiento y las predicciones de los LLMs con un gran conjunto de datos de decisiones humanas, encontramos que esto no es así: al simular y predecir las elecciones de las personas, un conjunto de LLMs de vanguardia (GPT-4o y 4-Turbo, Llama-3-8B y 70B, Claude 3 Opus) asumen que las personas son más racionales de lo que realmente somos. Específicamente, estos modelos se desvían del comportamiento humano y se alinean más estrechamente con un modelo clásico de elección racional: la teoría del valor esperado. Curiosamente, las personas también tienden a asumir que otras personas son racionales al interpretar su comportamiento. Como consecuencia, cuando comparamos las inferencias que los LLMs y las personas extraen de las decisiones de otros utilizando otro conjunto de datos psicológicos, encontramos que estas inferencias están altamente correlacionadas. Por lo tanto, los modelos implícitos de toma de decisiones de los LLMs parecen estar alineados con la expectativa humana de que otras personas actuarán racionalmente, en lugar de con cómo las personas realmente actúan.

English

In order for AI systems to communicate effectively with people, they must understand how we make decisions. However, people's decisions are not always rational, so the implicit internal models of human decision-making in Large Language Models (LLMs) must account for this. Previous empirical evidence seems to suggest that these implicit models are accurate -- LLMs offer believable proxies of human behavior, acting how we expect humans would in everyday interactions. However, by comparing LLM behavior and predictions to a large dataset of human decisions, we find that this is actually not the case: when both simulating and predicting people's choices, a suite of cutting-edge LLMs (GPT-4o & 4-Turbo, Llama-3-8B & 70B, Claude 3 Opus) assume that people are more rational than we really are. Specifically, these models deviate from human behavior and align more closely with a classic model of rational choice -- expected value theory. Interestingly, people also tend to assume that other people are rational when interpreting their behavior. As a consequence, when we compare the inferences that LLMs and people draw from the decisions of others using another psychological dataset, we find that these inferences are highly correlated. Thus, the implicit decision-making models of LLMs appear to be aligned with the human expectation that other people will act rationally, rather than with how people actually act.