Il Futuro è Distribuito in Modo Disomogeneo: La Capacità Predittiva degli LLM Dipende da ciò che Chiediamo

Future Is Unevenly Distributed: Forecasting Ability of LLMs Depends on What We're Asking

November 23, 2025

Autori: Chinmay Karkar, Paras Chopra

cs.AI

Abstract

I modelli linguistici di grandi dimensioni (LLM) dimostrano una competenza previsionale parziale in eventi sociali, politici ed economici. Tuttavia, la loro capacità predittiva varia notevolmente in base alla struttura del dominio e all'impostazione del prompt. Indaghiamo come le prestazioni previsionali varino tra diverse famiglie di modelli su questioni del mondo reale relative ad eventi accaduti dopo la data di cutoff del modello. Analizziamo come il contesto, il tipo di domanda e la conoscenza esterna influenzino l'accuratezza e la calibrazione, e come l'aggiunta di contesto fattuale derivante da notizie modifichi la formazione delle credenze e le modalità di errore. I nostri risultati mostrano che l'abilità previsionale è altamente variabile poiché dipende da cosa chiediamo e da come lo chiediamo.

English

Large Language Models (LLMs) demonstrate partial forecasting competence across social, political, and economic events. Yet, their predictive ability varies sharply with domain structure and prompt framing. We investigate how forecasting performance varies with different model families on real-world questions about events that happened beyond the model cutoff date. We analyze how context, question type, and external knowledge affect accuracy and calibration, and how adding factual news context modifies belief formation and failure modes. Our results show that forecasting ability is highly variable as it depends on what, and how, we ask.