O Futuro Está Desigualmente Distribuído: A Capacidade Preditiva dos LLMs Depende do que Perguntamos

Future Is Unevenly Distributed: Forecasting Ability of LLMs Depends on What We're Asking

November 23, 2025

Autores: Chinmay Karkar, Paras Chopra

cs.AI

Resumo

Os Grandes Modelos de Linguagem (LLMs) demonstram competência preditiva parcial em eventos sociais, políticos e econômicos. No entanto, sua capacidade preditiva varia drasticamente com a estrutura do domínio e a formulação dos prompts. Investigamos como o desempenho preditivo varia entre diferentes famílias de modelos em questões do mundo real sobre eventos ocorridos após a data de corte do modelo. Analisamos como o contexto, o tipo de questão e o conhecimento externo afetam a precisão e a calibração, e como a adição de contexto factual noticioso modifica a formação de crenças e os modos de falha. Nossos resultados mostram que a capacidade de previsão é altamente variável, pois depende do que perguntamos e de como perguntamos.

English

Large Language Models (LLMs) demonstrate partial forecasting competence across social, political, and economic events. Yet, their predictive ability varies sharply with domain structure and prompt framing. We investigate how forecasting performance varies with different model families on real-world questions about events that happened beyond the model cutoff date. We analyze how context, question type, and external knowledge affect accuracy and calibration, and how adding factual news context modifies belief formation and failure modes. Our results show that forecasting ability is highly variable as it depends on what, and how, we ask.