De Toekomst Is Ongelijk Verdeeld: De Voorspellingscapaciteit van LLM's Hangt Af van Wat We Vragen

Future Is Unevenly Distributed: Forecasting Ability of LLMs Depends on What We're Asking

November 23, 2025

Auteurs: Chinmay Karkar, Paras Chopra

cs.AI

Samenvatting

Grote Taalmodellen (GTM'en) vertonen een gedeeltelijke voorspellende competentie op het gebied van sociale, politieke en economische gebeurtenissen. Hun voorspellend vermogen varieert echter aanzienlijk met de domeinstructuur en de formulering van de prompt. Wij onderzoeken hoe de voorspellende prestaties variëren tussen verschillende modelfamilies voor vragen over gebeurtenissen in de echte wereld die plaatsvonden na de afsluitdatum van de modellen. We analyseren hoe context, vraagtype en externe kennis de nauwkeurigheid en calibratie beïnvloeden, en hoe het toevoegen van feitelijke nieuwscontext de vorming van overtuigingen en faalwijzen verandert. Onze resultaten tonen aan dat het voorspellend vermogen zeer variabel is, omdat het afhangt van wát we vragen, en hóe we het vragen.

English

Large Language Models (LLMs) demonstrate partial forecasting competence across social, political, and economic events. Yet, their predictive ability varies sharply with domain structure and prompt framing. We investigate how forecasting performance varies with different model families on real-world questions about events that happened beyond the model cutoff date. We analyze how context, question type, and external knowledge affect accuracy and calibration, and how adding factual news context modifies belief formation and failure modes. Our results show that forecasting ability is highly variable as it depends on what, and how, we ask.