미래는 고르게 펼쳐지지 않는다: LLM의 예측 능력은 질문의 내용에 따라 달라진다

Future Is Unevenly Distributed: Forecasting Ability of LLMs Depends on What We're Asking

November 23, 2025

저자: Chinmay Karkar, Paras Chopra

cs.AI

초록

대규모 언어 모델(LLM)은 사회적, 정치적, 경제적 사건에 걸쳐 부분적인 예측 능력을 보여줍니다. 그러나 그들의 예측 능력은 영역의 구조와 프롬프트 구성에 따라 현저히 달라집니다. 우리는 모델의 학습 차단 날짜 이후에 발생한 실제 사건에 대한 질문들에서 서로 다른 모델 패밀리별로 예측 성능이 어떻게 변화하는지 조사합니다. 또한 맥락, 질문 유형, 외부 지식이 정확도와 보정(calibration)에 어떤 영향을 미치는지, 그리고 사실적 뉴스 맥락을 추가하는 것이 신념 형성과 실패 모드를 어떻게 변화시키는지 분석합니다. 우리의 결과는 예측 능력이 '무엇을', '어떻게' 질문하느냐에 따라 크게 달라짐을 보여줍니다.

English

Large Language Models (LLMs) demonstrate partial forecasting competence across social, political, and economic events. Yet, their predictive ability varies sharply with domain structure and prompt framing. We investigate how forecasting performance varies with different model families on real-world questions about events that happened beyond the model cutoff date. We analyze how context, question type, and external knowledge affect accuracy and calibration, and how adding factual news context modifies belief formation and failure modes. Our results show that forecasting ability is highly variable as it depends on what, and how, we ask.