사회적으로 지능적인 LLM 에이전트에 마음이론 주입하기

초록

타인의 마음 상태를 이해하는 능력인 마음 이론(Theory of Mind, ToM)은 인간의 사회적 지능의 핵심 요소이지만, 챗봇과 대형 언어 모델(LLM) 기반 사회적 에이전트들은 일반적으로 이를 통합하지 않는다. 본 연구에서는 ToM을 명시적으로 사용하는 LLM이 대화에서 더 나은 성과를 거두고 목표를 더 효과적으로 달성함을 보여준다. 대화 턴 사이에 모델이 마음 상태를 생성하도록 간단히 프롬프트하는 것만으로도 상당한 이점이 있음을 보인 후, 우리는 ToM에 초점을 맞춘 대화 에이전트인 ToMAgent(ToMA)를 추가로 소개한다. ToMA는 ToM을 대화 미리보기와 결합하여 대화 목표 달성에 최대한 유용한 마음 상태를 생성하도록 훈련된다. Sotopia 상호작용 사회 평가 벤치마크에서의 실험은 우리의 방법이 다양한 기준선에 비해 효과적임을 입증한다. 종합적인 분석은 ToMA가 더 전략적이고 목표 지향적인 추론 행동을 보이며, 장기적인 적응을 가능하게 하면서도 파트너와 더 나은 관계를 유지함을 보여준다. 우리의 결과는 사회적으로 지능적인 LLM 에이전트를 구축하기 위해 ToM을 통합하는 데 있어 한 걸음 나아간 것을 시사한다.

English

Theory of Mind (ToM)-an understanding of the mental states of others-is a key aspect of human social intelligence, yet, chatbots and LLM-based social agents do not typically integrate it. In this work, we demonstrate that LLMs that explicitly use ToM get better at dialogue, achieving goals more effectively. After showing that simply prompting models to generate mental states between dialogue turns already provides significant benefit, we further introduce ToMAgent (ToMA), a ToM-focused dialogue agent. ToMA is trained by pairing ToM with dialogue lookahead to produce mental states that are maximally useful for achieving dialogue goals. Experiments on the Sotopia interactive social evaluation benchmark demonstrate the effectiveness of our method over a range of baselines. Comprehensive analysis shows that ToMA exhibits more strategic, goal-oriented reasoning behaviors, which enable long-horizon adaptation, while maintaining better relationships with their partners. Our results suggest a step forward in integrating ToM for building socially intelligent LLM agents.

사회적으로 지능적인 LLM 에이전트에 마음이론 주입하기

Infusing Theory of Mind into Socially Intelligent LLM Agents

초록

Support