Будущее распределено неравномерно: способность языковых моделей к прогнозированию зависит от поставленной задачи

Future Is Unevenly Distributed: Forecasting Ability of LLMs Depends on What We're Asking

November 23, 2025

Авторы: Chinmay Karkar, Paras Chopra

cs.AI

Аннотация

Крупные языковые модели (LLM) демонстрируют ограниченную компетенцию в прогнозировании социальных, политических и экономических событий. Однако их предсказательная способность резко варьируется в зависимости от структуры предметной области и формулировки промптов. Мы исследуем, как прогностическая производительность меняется для разных семейств моделей на реальных вопросах о событиях, произошедших после даты среза их обучающих данных. Мы анализируем, как контекст, тип вопроса и внешние знания влияют на точность и калибровку прогнозов, а также на то, как добавление фактического новостного контекста меняет формирование убеждений и характер ошибок. Наши результаты показывают, что прогностическая способность крайне нестабильна, поскольку зависит от того, что именно и как мы спрашиваем.

English

Large Language Models (LLMs) demonstrate partial forecasting competence across social, political, and economic events. Yet, their predictive ability varies sharply with domain structure and prompt framing. We investigate how forecasting performance varies with different model families on real-world questions about events that happened beyond the model cutoff date. We analyze how context, question type, and external knowledge affect accuracy and calibration, and how adding factual news context modifies belief formation and failure modes. Our results show that forecasting ability is highly variable as it depends on what, and how, we ask.