Construindo Modelos de Mundo Social com Modelos de Linguagem de Grande Escala

Resumo

Compreender e prever como as crenças sociais evoluem em resposta a eventos — desde mudanças políticas a descobertas científicas — continua a ser um desafio fundamental nas ciências sociais. Dado o conhecimento de senso comum e a inteligência social dos LLMs, perguntamos: Podem os LLMs modelar a dinâmica das crenças sociais na sequência de eventos sociais? Neste trabalho, introduzimos o conceito de Modelo de Mundo Social (SWM), uma estrutura geral concebida para capturar como as crenças sociais evoluem em resposta a grandes eventos. O SWM aprende funções de transição de estado para crenças sociais através da mineração de padrões temporais em dados sociais e da otimização do limite inferior da evidência, sem a necessidade de anotações humanas explícitas que liguem eventos a mudanças de crença, nem de dados censitários dispendiosos. Para avaliar o SWM, introduzimos um benchmark, SWM-bench, derivado de mercados de previsão do mundo real, especificamente Kalshi e Polymarket. O SWM-bench inclui mais de 12 mil pontos de dados para tarefas de previsão de crenças sociais, abrangendo domínios diversos como política, finanças e criptomoedas. Os nossos resultados experimentais mostram que o SWM supera significativamente os modelos fundamentais de séries temporais, alcançando resultados de ponta nos dados do Kalshi e demonstrando um desempenho competitivo nos dados do Polymarket, ao mesmo tempo que oferece insights interpretáveis sobre os mecanismos subjacentes da dinâmica das crenças sociais.

English

Understanding and predicting how social beliefs evolve in response to events -- from policy changes to scientific breakthroughs -- remains a fundamental challenge in social science. Given LLMs' commonsense knowledge and social intelligence, we ask: Can LLMs model the dynamics of social beliefs following social events? In this work, we introduce the concept of the Social World Model (SWM), a general framework designed to capture how social beliefs evolve in response to major events. SWM learns state-transition functions for social beliefs by mining temporal patterns in social data and optimizing the evidence lower bound, without the need for explicit human annotations linking events to belief shifts, or for expensive census data. To evaluate SWM, we introduce a benchmark, SWM-bench, derived from real-world prediction markets, specifically Kalshi and Polymarket. SWM-bench includes over 12k data points for social belief prediction tasks spanning diverse domains such as politics, finance, and cryptocurrency. Our experimental results show that SWM significantly outperforms time-series foundation models, achieving state-of-the-art results on Kalshi data and demonstrating competitive performance on Polymarket data, while offering interpretable insights into the underlying mechanisms of social belief dynamics.