Aufbau sozialer Weltmodelle mit großen Sprachmodellen

Zusammenfassung

Das Verständnis und die Vorhersage, wie sich soziale Überzeugungen als Reaktion auf Ereignisse – von politischen Veränderungen bis hin zu wissenschaftlichen Durchbrüchen – entwickeln, bleibt eine grundlegende Herausforderung in den Sozialwissenschaften. Angesichts des allgemeinen Wissens und der sozialen Intelligenz von LLMs stellen wir die Frage: Können LLMs die Dynamik sozialer Überzeugungen nach sozialen Ereignissen modellieren? In dieser Arbeit führen wir das Konzept des Social World Model (SWM) ein, ein allgemeines Rahmenwerk, das erfassen soll, wie sich soziale Überzeugungen als Reaktion auf bedeutende Ereignisse entwickeln. SWM lernt Zustandsübergangsfunktionen für soziale Überzeugungen, indem es zeitliche Muster in sozialen Daten extrahiert und die untere Evidenzschranke optimiert – ohne die Notwendigkeit expliziter menschlicher Annotationen, die Ereignisse mit Überzeugungsänderungen verknüpfen, oder teurer Zensusdaten. Zur Evaluierung von SWM führen wir einen Benchmark, SWM-bench, ein, der auf realen Prognosemärkten basiert, konkret Kalshi und Polymarket. SWM-bench umfasst über 12.000 Datenpunkte für Aufgaben zur Vorhersage sozialer Überzeugungen in verschiedenen Bereichen wie Politik, Finanzen und Kryptowährung. Unsere experimentellen Ergebnisse zeigen, dass SWM Zeitreihen-Basismodelle deutlich übertrifft, auf Kalshi-Daten dem Stand der Technik entspricht und auf Polymarket-Daten wettbewerbsfähige Leistung erbringt, während es interpretierbare Einblicke in die zugrundeliegenden Mechanismen der Dynamik sozialer Überzeugungen bietet.

English

Understanding and predicting how social beliefs evolve in response to events -- from policy changes to scientific breakthroughs -- remains a fundamental challenge in social science. Given LLMs' commonsense knowledge and social intelligence, we ask: Can LLMs model the dynamics of social beliefs following social events? In this work, we introduce the concept of the Social World Model (SWM), a general framework designed to capture how social beliefs evolve in response to major events. SWM learns state-transition functions for social beliefs by mining temporal patterns in social data and optimizing the evidence lower bound, without the need for explicit human annotations linking events to belief shifts, or for expensive census data. To evaluate SWM, we introduce a benchmark, SWM-bench, derived from real-world prediction markets, specifically Kalshi and Polymarket. SWM-bench includes over 12k data points for social belief prediction tasks spanning diverse domains such as politics, finance, and cryptocurrency. Our experimental results show that SWM significantly outperforms time-series foundation models, achieving state-of-the-art results on Kalshi data and demonstrating competitive performance on Polymarket data, while offering interpretable insights into the underlying mechanisms of social belief dynamics.