대규모 언어 모델을 활용한 사회 세계 모델 구축

초록

정책 변화부터 과학적 혁신에 이르기까지 사건에 대응하여 사회적 신념이 어떻게 변화하는지 이해하고 예측하는 것은 사회과학의 근본적인 과제로 남아 있다. LLM의 상식 지식과 사회적 지능을 고려할 때, 우리는 다음과 같은 질문을 던진다: LLM이 사회적 사건 이후의 사회적 신념 역학을 모델링할 수 있는가? 본 연구에서는 주요 사건에 따라 사회적 신념이 어떻게 변화하는지를 포착하도록 설계된 일반 프레임워크인 사회 세계 모델(Social World Model, SWM)의 개념을 소개한다. SWM은 사건과 신념 변화를 연결하는 명시적인 인간 주석이나 값비싼 인구 조사 데이터 없이도, 사회 데이터에서 시간적 패턴을 채굴하고 증거 하한을 최적화함으로써 사회적 신념에 대한 상태 전이 함수를 학습한다. SWM을 평가하기 위해 실제 예측 시장, 특히 Kalshi와 Polymarket에서 파생된 벤치마크인 SWM-bench를 도입한다. SWM-bench는 정치, 금융, 암호화폐 등 다양한 영역을 포괄하는 사회적 신념 예측 과제를 위한 12,000개 이상의 데이터 포인트를 포함한다. 실험 결과, SWM은 시계열 기초 모델을 크게 능가하여 Kalshi 데이터에서 최첨단 성과를 달성하고 Polymarket 데이터에서 경쟁력 있는 성과를 보여주며, 사회적 신념 역학의 기저 메커니즘에 대한 해석 가능한 통찰력을 제공한다.

English

Understanding and predicting how social beliefs evolve in response to events -- from policy changes to scientific breakthroughs -- remains a fundamental challenge in social science. Given LLMs' commonsense knowledge and social intelligence, we ask: Can LLMs model the dynamics of social beliefs following social events? In this work, we introduce the concept of the Social World Model (SWM), a general framework designed to capture how social beliefs evolve in response to major events. SWM learns state-transition functions for social beliefs by mining temporal patterns in social data and optimizing the evidence lower bound, without the need for explicit human annotations linking events to belief shifts, or for expensive census data. To evaluate SWM, we introduce a benchmark, SWM-bench, derived from real-world prediction markets, specifically Kalshi and Polymarket. SWM-bench includes over 12k data points for social belief prediction tasks spanning diverse domains such as politics, finance, and cryptocurrency. Our experimental results show that SWM significantly outperforms time-series foundation models, achieving state-of-the-art results on Kalshi data and demonstrating competitive performance on Polymarket data, while offering interpretable insights into the underlying mechanisms of social belief dynamics.