大規模言語モデルによる社会的世界モデルの構築

要旨

社会的信念が政策変更から科学的ブレークスルーに至るまで、どのように出来事に応じて進化するかを理解し予測することは、社会科学における根本的な課題であり続けている。LLMの常識的知識と社会的知性を踏まえ、我々は問う：LLMは社会的出来事に続く社会的信念の動態をモデル化できるのか？本研究では、社会的信念が主要な出来事に応じてどのように進化するかを捉えるための一般的枠組みであるソーシャル・ワールド・モデル（SWM）の概念を導入する。SWMは、社会的データにおける時間的パターンをマイニングし、エビデンス下限を最適化することにより、社会的信念の状態遷移関数を学習する。これには、出来事と信念の変化を結びつける明示的な人間によるアノテーションや、高額な国勢調査データは不要である。SWMを評価するために、実世界の予測市場（具体的にはKalshiおよびPolymarket）から派生したベンチマークSWM-benchを導入する。SWM-benchには、政治、金融、暗号通貨など多様な領域にわたる社会的信念予測タスクのための12,000以上のデータポイントが含まれる。実験結果は、SWMが時系列基盤モデルを大幅に上回り、Kalshiデータで最先端の成果を達成し、Polymarketデータで競争力のあるパフォーマンスを示すと同時に、社会的信念動態の基礎的メカニズムに関する解釈可能な洞察を提供することを示している。

English

Understanding and predicting how social beliefs evolve in response to events -- from policy changes to scientific breakthroughs -- remains a fundamental challenge in social science. Given LLMs' commonsense knowledge and social intelligence, we ask: Can LLMs model the dynamics of social beliefs following social events? In this work, we introduce the concept of the Social World Model (SWM), a general framework designed to capture how social beliefs evolve in response to major events. SWM learns state-transition functions for social beliefs by mining temporal patterns in social data and optimizing the evidence lower bound, without the need for explicit human annotations linking events to belief shifts, or for expensive census data. To evaluate SWM, we introduce a benchmark, SWM-bench, derived from real-world prediction markets, specifically Kalshi and Polymarket. SWM-bench includes over 12k data points for social belief prediction tasks spanning diverse domains such as politics, finance, and cryptocurrency. Our experimental results show that SWM significantly outperforms time-series foundation models, achieving state-of-the-art results on Kalshi data and demonstrating competitive performance on Polymarket data, while offering interpretable insights into the underlying mechanisms of social belief dynamics.