Большие языковые модели предполагают, что люди более рациональны, чем мы на самом деле.

Large Language Models Assume People are More Rational than We Really are

June 24, 2024

Авторы: Ryan Liu, Jiayi Geng, Joshua C. Peterson, Ilia Sucholutsky, Thomas L. Griffiths

cs.AI

Аннотация

Для того чтобы системы искусственного интеллекта эффективно общались с людьми, им необходимо понимать, как мы принимаем решения. Однако решения людей не всегда рациональны, поэтому неявные внутренние модели принятия решений человека в больших языковых моделях (LLM) должны учитывать это. Предыдущие эмпирические данные, кажется, свидетельствуют о том, что эти неявные модели точны - LLM предлагают правдоподобные аналоги человеческого поведения, действуя так, как мы ожидаем, что люди поступают в повседневных взаимодействиях. Однако, сравнивая поведение и прогнозы LLM с большим набором данных о человеческих решениях, мы обнаруживаем, что на самом деле это не так: при симуляции и прогнозировании выбора людей ряд передовых LLM (GPT-4o & 4-Turbo, Llama-3-8B & 70B, Claude 3 Opus) предполагают, что люди более рациональны, чем мы на самом деле. Конкретно, эти модели отклоняются от человеческого поведения и ближе соответствуют классической модели рационального выбора - теории ожидаемой ценности. Интересно, что люди также склонны предполагать, что другие люди рациональны, когда интерпретируют их поведение. В результате, сравнивая выводы, к которым приходят LLM и люди из решений других людей с использованием другого психологического набора данных, мы обнаруживаем, что эти выводы сильно коррелируют. Таким образом, неявные модели принятия решений LLM, кажется, соответствуют ожиданию человека, что другие люди будут действовать рационально, а не тому, как на самом деле действуют люди.

English

In order for AI systems to communicate effectively with people, they must understand how we make decisions. However, people's decisions are not always rational, so the implicit internal models of human decision-making in Large Language Models (LLMs) must account for this. Previous empirical evidence seems to suggest that these implicit models are accurate -- LLMs offer believable proxies of human behavior, acting how we expect humans would in everyday interactions. However, by comparing LLM behavior and predictions to a large dataset of human decisions, we find that this is actually not the case: when both simulating and predicting people's choices, a suite of cutting-edge LLMs (GPT-4o & 4-Turbo, Llama-3-8B & 70B, Claude 3 Opus) assume that people are more rational than we really are. Specifically, these models deviate from human behavior and align more closely with a classic model of rational choice -- expected value theory. Interestingly, people also tend to assume that other people are rational when interpreting their behavior. As a consequence, when we compare the inferences that LLMs and people draw from the decisions of others using another psychological dataset, we find that these inferences are highly correlated. Thus, the implicit decision-making models of LLMs appear to be aligned with the human expectation that other people will act rationally, rather than with how people actually act.