L'avenir est inégalement réparti : la capacité prédictive des LLM dépend de ce que nous demandons

Future Is Unevenly Distributed: Forecasting Ability of LLMs Depends on What We're Asking

November 23, 2025

papers.authors: Chinmay Karkar, Paras Chopra

cs.AI

papers.abstract

Les grands modèles de langage (LLM) démontrent une compétence prévisionnelle partielle dans les domaines sociaux, politiques et économiques. Cependant, leur capacité prédictive varie considérablement selon la structure du domaine et la formulation des invites. Nous étudions comment les performances prévisionnelles varient entre différentes familles de modèles sur des questions réelles concernant des événements survenus après la date de coupure des modèles. Nous analysons comment le contexte, le type de question et les connaissances externes affectent la précision et l'étalonnage, et comment l'ajout d'un contexte informationnel factuel modifie la formation des croyances et les modes d'échec. Nos résultats montrent que la capacité prévisionnelle est très variable car elle dépend de ce que nous demandons, et de la manière dont nous le demandons.

English

Large Language Models (LLMs) demonstrate partial forecasting competence across social, political, and economic events. Yet, their predictive ability varies sharply with domain structure and prompt framing. We investigate how forecasting performance varies with different model families on real-world questions about events that happened beyond the model cutoff date. We analyze how context, question type, and external knowledge affect accuracy and calibration, and how adding factual news context modifies belief formation and failure modes. Our results show that forecasting ability is highly variable as it depends on what, and how, we ask.