동적 마음 이론을 향하여: 인간 상태의 시간적 변화에 대한 대형 언어 모델의 적응력 평가

Towards Dynamic Theory of Mind: Evaluating LLM Adaptation to Temporal Evolution of Human States

May 23, 2025

저자: Yang Xiao, Jiashuo Wang, Qiancheng Xu, Changhe Song, Chunpu Xu, Yi Cheng, Wenjie Li, Pengfei Liu

cs.AI

초록

대형 언어 모델(LLMs)이 인간-AI 상호작용에 점점 더 많이 참여함에 따라, 특히 동적 정신 상태를 추적하는 능력을 포함한 이들의 마음 이론(Theory of Mind, ToM) 능력을 평가하는 것이 중요해졌습니다. 기존 벤치마크는 기본적인 ToM 능력을 평가하지만, 주로 정적 정신 상태의 단면에 초점을 맞추어 실제 세계의 사회적 상호작용을 특징짓는 시간적 진화를 간과하고 있습니다. 우리는 상호 연결된 시나리오에서 정신 상태의 시간적 진행을 이해하고 추적하는 LLMs의 능력을 평가하기 위해 특별히 설계된 새로운 벤치마크인 DynToM을 제안합니다. 체계적인 4단계 프레임워크를 통해, 우리는 5,500개의 시나리오와 78,100개의 질문을 포함하는 1,100개의 사회적 맥락을 생성하며, 각각은 현실성과 품질에 대해 검증되었습니다. 10개의 최신 LLMs에 대한 포괄적인 평가 결과, 이들의 평균 성능은 인간보다 44.7% 낮았으며, 정신 상태의 변화를 추적하고 추론할 때 성능이 크게 저하되는 것으로 나타났습니다. 이러한 성능 격차는 현재 LLMs가 인간 정신 상태의 동적 특성을 모델링하는 데 있어 근본적인 한계를 보여줍니다.

English

As Large Language Models (LLMs) increasingly participate in human-AI interactions, evaluating their Theory of Mind (ToM) capabilities - particularly their ability to track dynamic mental states - becomes crucial. While existing benchmarks assess basic ToM abilities, they predominantly focus on static snapshots of mental states, overlooking the temporal evolution that characterizes real-world social interactions. We present DynToM, a novel benchmark specifically designed to evaluate LLMs' ability to understand and track the temporal progression of mental states across interconnected scenarios. Through a systematic four-step framework, we generate 1,100 social contexts encompassing 5,500 scenarios and 78,100 questions, each validated for realism and quality. Our comprehensive evaluation of ten state-of-the-art LLMs reveals that their average performance underperforms humans by 44.7\%, with performance degrading significantly when tracking and reasoning about the shift of mental states. This performance gap highlights fundamental limitations in current LLMs' ability to model the dynamic nature of human mental states.