Construction de modèles du monde social avec les grands modèles de langage

Résumé

Comprendre et prédire comment les croyances sociales évoluent en réponse à des événements — allant des changements de politiques aux percées scientifiques — reste un défi fondamental en sciences sociales. Compte tenu des connaissances générales et de l'intelligence sociale des LLM, nous nous demandons : les LLM peuvent-ils modéliser la dynamique des croyances sociales à la suite d'événements sociaux ? Dans ce travail, nous introduisons le concept de Social World Model (SWM), un cadre général conçu pour capturer la manière dont les croyances sociales évoluent en réponse à des événements majeurs. SWM apprend des fonctions de transition d'état pour les croyances sociales en extrayant des motifs temporels dans les données sociales et en optimisant la borne inférieure de l'évidence, sans nécessiter d'annotations humaines explicites reliant les événements aux changements de croyances, ni de données de recensement coûteuses. Pour évaluer SWM, nous introduisons un benchmark, SWM-bench, dérivé de marchés de prédiction réels, spécifiquement Kalshi et Polymarket. SWM-bench comprend plus de 12 000 points de données pour des tâches de prédiction de croyances sociales couvrant divers domaines tels que la politique, la finance et la cryptomonnaie. Nos résultats expérimentaux montrent que SWM surpasse significativement les modèles de fondation de séries temporelles, obtenant des résultats de pointe sur les données de Kalshi et démontrant des performances compétitives sur les données de Polymarket, tout en offrant des perspectives interprétables sur les mécanismes sous-jacents de la dynamique des croyances sociales.

English

Understanding and predicting how social beliefs evolve in response to events -- from policy changes to scientific breakthroughs -- remains a fundamental challenge in social science. Given LLMs' commonsense knowledge and social intelligence, we ask: Can LLMs model the dynamics of social beliefs following social events? In this work, we introduce the concept of the Social World Model (SWM), a general framework designed to capture how social beliefs evolve in response to major events. SWM learns state-transition functions for social beliefs by mining temporal patterns in social data and optimizing the evidence lower bound, without the need for explicit human annotations linking events to belief shifts, or for expensive census data. To evaluate SWM, we introduce a benchmark, SWM-bench, derived from real-world prediction markets, specifically Kalshi and Polymarket. SWM-bench includes over 12k data points for social belief prediction tasks spanning diverse domains such as politics, finance, and cryptocurrency. Our experimental results show that SWM significantly outperforms time-series foundation models, achieving state-of-the-art results on Kalshi data and demonstrating competitive performance on Polymarket data, while offering interpretable insights into the underlying mechanisms of social belief dynamics.