Große Sprachmodelle gehen davon aus, dass Menschen vernünftiger sind, als wir es tatsächlich sind.

Large Language Models Assume People are More Rational than We Really are

June 24, 2024

Autoren: Ryan Liu, Jiayi Geng, Joshua C. Peterson, Ilia Sucholutsky, Thomas L. Griffiths

cs.AI

Zusammenfassung

Damit KI-Systeme effektiv mit Menschen kommunizieren können, müssen sie verstehen, wie wir Entscheidungen treffen. Allerdings sind menschliche Entscheidungen nicht immer rational, daher müssen die impliziten internen Modelle menschlicher Entscheidungsfindung in Large Language Models (LLMs) dies berücksichtigen. Frühere empirische Beweise scheinen darauf hinzudeuten, dass diese impliziten Modelle genau sind - LLMs bieten glaubhafte Stellvertreter menschlichen Verhaltens, indem sie sich so verhalten, wie wir es von Menschen in alltäglichen Interaktionen erwarten würden. Jedoch zeigt sich durch den Vergleich des Verhaltens und der Vorhersagen von LLMs mit einem großen Datensatz menschlicher Entscheidungen, dass dies tatsächlich nicht der Fall ist: Beim Simulieren und Vorhersagen von Entscheidungen von Menschen nehmen eine Reihe modernster LLMs (GPT-4o & 4-Turbo, Llama-3-8B & 70B, Claude 3 Opus) an, dass Menschen rationaler handeln, als sie es tatsächlich tun. Speziell weichen diese Modelle vom menschlichen Verhalten ab und stimmen eher mit einem klassischen Modell rationaler Entscheidungen - der erwarteten Wertetheorie - überein. Interessanterweise neigen auch Menschen dazu anzunehmen, dass andere Menschen rational handeln, wenn sie deren Verhalten interpretieren. Folglich finden wir bei einem Vergleich der Schlussfolgerungen, die LLMs und Menschen aus den Entscheidungen anderer ziehen, anhand eines weiteren psychologischen Datensatzes, eine hohe Korrelation. Somit scheinen die impliziten Entscheidungsmodelle von LLMs mit der menschlichen Erwartung übereinzustimmen, dass andere Menschen rational handeln werden, anstatt mit dem tatsächlichen menschlichen Verhalten.

English

In order for AI systems to communicate effectively with people, they must understand how we make decisions. However, people's decisions are not always rational, so the implicit internal models of human decision-making in Large Language Models (LLMs) must account for this. Previous empirical evidence seems to suggest that these implicit models are accurate -- LLMs offer believable proxies of human behavior, acting how we expect humans would in everyday interactions. However, by comparing LLM behavior and predictions to a large dataset of human decisions, we find that this is actually not the case: when both simulating and predicting people's choices, a suite of cutting-edge LLMs (GPT-4o & 4-Turbo, Llama-3-8B & 70B, Claude 3 Opus) assume that people are more rational than we really are. Specifically, these models deviate from human behavior and align more closely with a classic model of rational choice -- expected value theory. Interestingly, people also tend to assume that other people are rational when interpreting their behavior. As a consequence, when we compare the inferences that LLMs and people draw from the decisions of others using another psychological dataset, we find that these inferences are highly correlated. Thus, the implicit decision-making models of LLMs appear to be aligned with the human expectation that other people will act rationally, rather than with how people actually act.