대형 언어 모델은 사람들이 실제보다 더 합리적이라고 가정한다

Large Language Models Assume People are More Rational than We Really are

June 24, 2024

저자: Ryan Liu, Jiayi Geng, Joshua C. Peterson, Ilia Sucholutsky, Thomas L. Griffiths

cs.AI

초록

AI 시스템이 사람들과 효과적으로 소통하기 위해서는 우리가 어떻게 결정을 내리는지 이해해야 합니다. 그러나 사람들의 결정이 항상 합리적인 것은 아니므로, 대형 언어 모델(LLM)에 내재된 인간 의사결정의 암묵적 내부 모델은 이를 고려해야 합니다. 이전의 경험적 증거는 이러한 암묵적 모델이 정확하다는 것을 시사하는 것처럼 보였습니다. LLM은 인간 행동의 그럴듯한 대리자를 제공하며, 일상적인 상호작용에서 우리가 인간이 어떻게 행동할 것인지 예상하는 방식으로 작동합니다. 그러나 LLM의 행동과 예측을 인간 결정의 대규모 데이터셋과 비교해 보면, 실제로는 그렇지 않다는 것을 발견했습니다: 사람들의 선택을 시뮬레이션하고 예측할 때, 최첨단 LLM들(GPT-4o & 4-Turbo, Llama-3-8B & 70B, Claude 3 Opus)은 사람들이 실제보다 더 합리적이라고 가정합니다. 구체적으로, 이러한 모델들은 인간 행동에서 벗어나 고전적인 합리적 선택 모델인 기대 가치 이론에 더 가깝게 정렬됩니다. 흥미롭게도, 사람들도 다른 사람들의 행동을 해석할 때 그들이 합리적이라고 가정하는 경향이 있습니다. 결과적으로, LLM과 사람들이 다른 사람들의 결정에서 도출한 추론을 또 다른 심리학적 데이터셋을 사용해 비교해 보면, 이러한 추론이 매우 높은 상관관계를 보이는 것을 발견합니다. 따라서 LLM의 암묵적 의사결정 모델은 사람들이 실제로 행동하는 방식보다는, 다른 사람들이 합리적으로 행동할 것이라는 인간의 기대와 일치하는 것으로 보입니다.

English

In order for AI systems to communicate effectively with people, they must understand how we make decisions. However, people's decisions are not always rational, so the implicit internal models of human decision-making in Large Language Models (LLMs) must account for this. Previous empirical evidence seems to suggest that these implicit models are accurate -- LLMs offer believable proxies of human behavior, acting how we expect humans would in everyday interactions. However, by comparing LLM behavior and predictions to a large dataset of human decisions, we find that this is actually not the case: when both simulating and predicting people's choices, a suite of cutting-edge LLMs (GPT-4o & 4-Turbo, Llama-3-8B & 70B, Claude 3 Opus) assume that people are more rational than we really are. Specifically, these models deviate from human behavior and align more closely with a classic model of rational choice -- expected value theory. Interestingly, people also tend to assume that other people are rational when interpreting their behavior. As a consequence, when we compare the inferences that LLMs and people draw from the decisions of others using another psychological dataset, we find that these inferences are highly correlated. Thus, the implicit decision-making models of LLMs appear to be aligned with the human expectation that other people will act rationally, rather than with how people actually act.