Построение социальных моделей мира с помощью больших языковых моделей

Аннотация

Понимание и прогнозирование эволюции социальных убеждений в ответ на события — от изменений в политике до научных прорывов — остается фундаментальной задачей социальных наук. Учитывая, что большие языковые модели (LLM) обладают знаниями здравого смысла и социальным интеллектом, мы задаемся вопросом: могут ли LLM моделировать динамику социальных убеждений после социальных событий? В данной работе мы вводим концепцию Модели социального мира (Social World Model, SWM) — общую структуру, предназначенную для того, чтобы отражать, как социальные убеждения эволюционируют под влиянием значимых событий. SWM изучает функции перехода состояний для социальных убеждений путем анализа временных закономерностей в социальных данных и оптимизации нижней границы правдоподобия, не требуя явных человеческих аннотаций, связывающих события с изменениями убеждений, или дорогостоящих данных переписи. Для оценки SWM мы представляем эталонный набор данных SWM-bench, созданный на основе реальных рынков прогнозов, а именно Kalshi и Polymarket. SWM-bench включает более 12 тысяч точек данных для задач прогнозирования социальных убеждений в различных областях, таких как политика, финансы и криптовалюта. Наши экспериментальные результаты показывают, что SWM значительно превосходит фундаментальные модели временных рядов, достигая передовых результатов на данных Kalshi и демонстрируя конкурентоспособную производительность на данных Polymarket, одновременно предоставляя интерпретируемые сведения о базовых механизмах динамики социальных убеждений.

English

Understanding and predicting how social beliefs evolve in response to events -- from policy changes to scientific breakthroughs -- remains a fundamental challenge in social science. Given LLMs' commonsense knowledge and social intelligence, we ask: Can LLMs model the dynamics of social beliefs following social events? In this work, we introduce the concept of the Social World Model (SWM), a general framework designed to capture how social beliefs evolve in response to major events. SWM learns state-transition functions for social beliefs by mining temporal patterns in social data and optimizing the evidence lower bound, without the need for explicit human annotations linking events to belief shifts, or for expensive census data. To evaluate SWM, we introduce a benchmark, SWM-bench, derived from real-world prediction markets, specifically Kalshi and Polymarket. SWM-bench includes over 12k data points for social belief prediction tasks spanning diverse domains such as politics, finance, and cryptocurrency. Our experimental results show that SWM significantly outperforms time-series foundation models, achieving state-of-the-art results on Kalshi data and demonstrating competitive performance on Polymarket data, while offering interpretable insights into the underlying mechanisms of social belief dynamics.