Die Zukunft ist ungleich verteilt: Die Prognosefähigkeit von LLMs hängt davon ab, worum wir sie bitten.

Future Is Unevenly Distributed: Forecasting Ability of LLMs Depends on What We're Asking

November 23, 2025

papers.authors: Chinmay Karkar, Paras Chopra

cs.AI

papers.abstract

Große Sprachmodelle (LLMs) zeigen partielle Prognosefähigkeiten für soziale, politische und wirtschaftliche Ereignisse. Ihre Vorhersagefähigkeit variiert jedoch erheblich mit der Domänenstruktur und der Formulierung der Prompts. Wir untersuchen, wie sich die Prognoseleistung verschiedener Modellfamilien bei realen Fragen zu Ereignissen unterscheidet, die nach dem Cut-off-Datum der Modelle stattfanden. Wir analysieren, wie Kontext, Fragentyp und externes Wissen die Genauigkeit und Kalibrierung beeinflussen und wie das Hinzufügen faktischen Nachrichtenkontexts die Meinungsbildung und Fehlermodi verändert. Unsere Ergebnisse zeigen, dass die Prognosefähigkeit stark variiert, da sie davon abhängt, was und wie wir fragen.

English

Large Language Models (LLMs) demonstrate partial forecasting competence across social, political, and economic events. Yet, their predictive ability varies sharply with domain structure and prompt framing. We investigate how forecasting performance varies with different model families on real-world questions about events that happened beyond the model cutoff date. We analyze how context, question type, and external knowledge affect accuracy and calibration, and how adding factual news context modifies belief formation and failure modes. Our results show that forecasting ability is highly variable as it depends on what, and how, we ask.