Het bouwen van sociale wereldmodellen met grote taalmodellen

Samenvatting

Het begrijpen en voorspellen van hoe sociale overtuigingen evolueren in reactie op gebeurtenissen – van beleidsveranderingen tot wetenschappelijke doorbraken – blijft een fundamentele uitdaging in de sociale wetenschappen. Gezien de algemene kennis en sociale intelligentie van LLM's, vragen we ons af: Kunnen LLM's de dynamiek van sociale overtuigingen na sociale gebeurtenissen modelleren? In dit werk introduceren we het concept van het Social World Model (SWM), een algemeen raamwerk ontworpen om vast te leggen hoe sociale overtuigingen evolueren in reactie op grote gebeurtenissen. SWM leert toestandsovergangsfuncties voor sociale overtuigingen door temporele patronen in sociale data te ontginnen en de evidence lower bound te optimaliseren, zonder behoefte aan expliciete menselijke annotaties die gebeurtenissen koppelen aan verschuivingen in overtuigingen, of aan dure censusdata. Om SWM te evalueren, introduceren we een benchmark, SWM-bench, afgeleid van real-world voorspellingsmarkten, met name Kalshi en Polymarket. SWM-bench bevat meer dan 12k datapunten voor voorspellingstaken van sociale overtuigingen, verspreid over diverse domeinen zoals politiek, financiën en cryptocurrency. Onze experimentele resultaten tonen aan dat SWM significant beter presteert dan tijdreeks-basismodellen, state-of-the-art resultaten behaalt op Kalshi-data en concurrerende prestaties levert op Polymarket-data, terwijl het interpreteerbare inzichten biedt in de onderliggende mechanismen van de dynamiek van sociale overtuigingen.

English

Understanding and predicting how social beliefs evolve in response to events -- from policy changes to scientific breakthroughs -- remains a fundamental challenge in social science. Given LLMs' commonsense knowledge and social intelligence, we ask: Can LLMs model the dynamics of social beliefs following social events? In this work, we introduce the concept of the Social World Model (SWM), a general framework designed to capture how social beliefs evolve in response to major events. SWM learns state-transition functions for social beliefs by mining temporal patterns in social data and optimizing the evidence lower bound, without the need for explicit human annotations linking events to belief shifts, or for expensive census data. To evaluate SWM, we introduce a benchmark, SWM-bench, derived from real-world prediction markets, specifically Kalshi and Polymarket. SWM-bench includes over 12k data points for social belief prediction tasks spanning diverse domains such as politics, finance, and cryptocurrency. Our experimental results show that SWM significantly outperforms time-series foundation models, achieving state-of-the-art results on Kalshi data and demonstrating competitive performance on Polymarket data, while offering interpretable insights into the underlying mechanisms of social belief dynamics.