未来は均等に訪れない：大規模言語モデルの予測能力は問う内容に依存する

要旨

大規模言語モデル（LLM）は、社会・政治・経済的事象に対して部分的ではあるが一定の予測能力を示す。しかしその予測精度は、領域の構造やプロンプトの設計によって顕著に変動する。本研究では、モデルのカットオフ日以降に発生した実世界の事象に関する質問に対し、異なるモデルファミリー間で予測性能がどのように変化するかを検証する。文脈設定、質問タイプ、外部知識が精度とキャリブレーションに与える影響、さらに事実に基づくニュース文脈を付加することが信念形成や失敗モードにどう作用するかを分析する。結果から、予測能力は「何を」「どのように」問うかに強く依存し、極めて可変的であることが示された。

English

Large Language Models (LLMs) demonstrate partial forecasting competence across social, political, and economic events. Yet, their predictive ability varies sharply with domain structure and prompt framing. We investigate how forecasting performance varies with different model families on real-world questions about events that happened beyond the model cutoff date. We analyze how context, question type, and external knowledge affect accuracy and calibration, and how adding factual news context modifies belief formation and failure modes. Our results show that forecasting ability is highly variable as it depends on what, and how, we ask.

未来は均等に訪れない：大規模言語モデルの予測能力は問う内容に依存する

Future Is Unevenly Distributed: Forecasting Ability of LLMs Depends on What We're Asking

要旨

Support