Construcción de Modelos de Mundo Social con Grandes Modelos de Lenguaje

Resumen

Comprender y predecir cómo evolucionan las creencias sociales en respuesta a eventos —desde cambios de políticas hasta avances científicos— sigue siendo un desafío fundamental en las ciencias sociales. Dado el conocimiento de sentido común y la inteligencia social de los LLM, nos preguntamos: ¿Pueden los LLM modelar la dinámica de las creencias sociales tras eventos sociales? En este trabajo, introducimos el concepto del Modelo del Mundo Social (SWM, por sus siglas en inglés), un marco general diseñado para capturar cómo evolucionan las creencias sociales en respuesta a eventos importantes. SWM aprende funciones de transición de estado para las creencias sociales mediante la extracción de patrones temporales en datos sociales y la optimización de la cota inferior de la evidencia, sin necesidad de anotaciones humanas explícitas que vinculen eventos con cambios de creencias, ni de costosos datos de censos. Para evaluar SWM, presentamos un punto de referencia, SWM-bench, derivado de mercados de predicción del mundo real, específicamente Kalshi y Polymarket. SWM-bench incluye más de 12,000 puntos de datos para tareas de predicción de creencias sociales que abarcan diversos ámbitos como política, finanzas y criptomonedas. Nuestros resultados experimentales muestran que SWM supera significativamente a los modelos de series temporales fundamentales, logrando resultados de vanguardia en los datos de Kalshi y demostrando un rendimiento competitivo en los datos de Polymarket, al tiempo que ofrece información interpretable sobre los mecanismos subyacentes de la dinámica de las creencias sociales.

English

Understanding and predicting how social beliefs evolve in response to events -- from policy changes to scientific breakthroughs -- remains a fundamental challenge in social science. Given LLMs' commonsense knowledge and social intelligence, we ask: Can LLMs model the dynamics of social beliefs following social events? In this work, we introduce the concept of the Social World Model (SWM), a general framework designed to capture how social beliefs evolve in response to major events. SWM learns state-transition functions for social beliefs by mining temporal patterns in social data and optimizing the evidence lower bound, without the need for explicit human annotations linking events to belief shifts, or for expensive census data. To evaluate SWM, we introduce a benchmark, SWM-bench, derived from real-world prediction markets, specifically Kalshi and Polymarket. SWM-bench includes over 12k data points for social belief prediction tasks spanning diverse domains such as politics, finance, and cryptocurrency. Our experimental results show that SWM significantly outperforms time-series foundation models, achieving state-of-the-art results on Kalshi data and demonstrating competitive performance on Polymarket data, while offering interpretable insights into the underlying mechanisms of social belief dynamics.