時系列基盤モデルにおける予測崩壊

要旨

1,000銘柄の米国株式の時間別リターンを予測する際、我々は予期せぬ現象を観察する：予測がほぼ平坦になり、横断面相関で測定される株式ランキングが不正確になるのである。我々はこれを予測崩壊（forecast collapse）と呼ぶ。驚くべきことに、この現象は同じ設定で取引量を予測する場合にはほぼ消失する。我々は時系列基盤モデル（TSFMs）、12の深層学習予測モデル、97の公開ベンチマーク設定にわたって予測崩壊を調査し、これがターゲットの予測可能性と密接に関連していることを見出す。その背景には2つの異なる理由があることを特定する：予測可能性の低さが較正された点予測の振幅を制限すること、そして系列ごとの目的関数が系列横断的な構造を未特定のまま残すことである。これらの発見は較正とランキングのトレードオフを明らかにする：二乗誤差の最適化は平坦な予測をもたらす一方、横断面相関を直接最適化するとランキングは改善するが、予測の振幅を1桁以上膨張させ得る。このトレードオフに対処するため、我々は較正とランキングのバランスを取る単純な目的関数であるCalibRankを導入する。Finance1Kにおいて、CalibRankは横断面相関をほぼ3倍にしながら振幅をターゲットに近く保ち、テストしたすべてのモデルで相関を改善する。我々の結果は従来の時系列評価における盲点を明らかにする：系列ごとの指標は、下流の意思決定に必要な系列横断的な構造の失敗を隠蔽し得るのである。

English

When forecasting hourly returns for 1,000 US equities, we observe an unexpected phenomenon: predictions become nearly flat and show poor stock ranking, as measured by cross-sectional correlation. We call this forecast collapse. Surprisingly, the phenomenon largely disappears when forecasting trading volume under the same setting. We investigate forecast collapse across time-series foundation models (TSFMs), twelve deep-learning forecasting models, and 97 public benchmark configurations, and find that it is closely tied to target predictability. We identify two distinct reasons behind it: low predictability limits the amplitude of calibrated point forecasts, while per-series objectives leave cross-series structure unidentified. These findings reveal a calibration-ranking tradeoff: optimizing squared error leads to flat predictions, whereas directly optimizing cross-sectional correlation improves ranking but can inflate forecast amplitude by more than an order of magnitude. To address this tradeoff, we introduce CalibRank, a simple objective that balances calibration and ranking. On Finance1K, CalibRank nearly triples cross-sectional correlation while keeping amplitude close to the target, and improves correlation on all tested models. Our results reveal a blind spot in conventional time-series evaluation: per-series metrics can hide failures in cross-series structure needed by downstream decisions.