시계열 예측에서 선형 모델은 얼마나 좋을 수 있는가?

초록

시계열 예측 연구는 전문화된 트랜스포머에서 범용 기초 모델에 이르기까지, 용량이 정확도를 결정한다는 가정 하에 지속적으로 더 큰 아키텍처로 이동해 왔다. 우리는 이와 반대 입장을 취한다: 대부분의 격차는 모델을 확장하는 대신 전처리를 조정함으로써 훨씬 낮은 비용으로 좁힐 수 있다. 우리는 능형 회귀(Ridge regression)를 시험 대상으로 사용하는데, 이는 폐쇄형 해(closed-form solution)를 가지며 가중치가 해석 가능하여 최적의 하이퍼파라미터를 탐색에서 직접 읽어낼 수 있기 때문이다. 우리는 여덟 가지 표준 벤치마크에서 컨텍스트 길이, 지역 정규화, 정규화, 증강(augmentation)을 탐색하여 세 가지 패턴을 발견했다. (1) 최적의 lookback은 시계열에 매우 특화되어 있으며 예측 지평(forecast horizon)에 대해 종종 비단조적(non-monotonic)이고, 적합된 거듭제곱 법칙 지수(power-law exponent)는 ETTm2에서 +0.46에서 Exchange 및 Traffic에서 -0.19까지 다양하여, 더 긴 지평이 더 긴 과거 데이터를 필요로 한다는 관례에 도전한다. (2) 컨텍스트 전체가 아닌 학습된 후행 부분(trailing fraction)에 대해 정규화하는 것이 거의 보편적으로 선호된다. (3) 동일한 데이터셋 내의 시계열도 하이퍼파라미터에 대해 서로 다른 의견을 보이며; 최적의 교차 시계열 공유 정도는 완전 공유에서 완전 개별 시계열까지 다양하다. 결과 모델은 대부분의 데이터셋-지평 항목에서 기존 선형 예측기를 능가하며, 여덟 개 벤치마크 중 여섯 개에서 트랜스포머, MLP, CNN 기준 모델을 초과한다. 최적화된 하이퍼파라미터는 데이터 자체에 대한 진단 도구 역할도 하여, 더 큰 모델이 학습된 파라미터에 조용히 흡수하는 구조를 드러낸다.

English

Time-series forecasting research has been moving steadily toward larger architectures, from specialized transformers to general-purpose foundation models, on the assumption that capacity is what unlocks accuracy. We take the opposite position: most of the gap can be closed at far lower cost by tuning preprocessing rather than scaling models. We use Ridge regression as the testbed, since it has a closed-form solution and interpretable weights, which let the optimal hyperparameters be read off the search directly. We search over context length, local normalization, regularization, and augmentation on eight standard benchmarks and find three patterns. (1) Optimal lookback is strongly series-specific and often non-monotonic in forecast horizon, with fitted power-law exponents ranging from +0.46 on ETTm2 to -0.19 on Exchange and Traffic, challenging the convention that longer horizons need longer history. (2) Normalizing over a learned trailing fraction of the context, rather than its entirety, is almost universally preferred. (3) Series within the same dataset often disagree on hyperparameters; the optimal degree of cross-series sharing varies from fully shared to fully per-series. The resulting models beat prior linear forecasters on most dataset-horizon entries and exceed Transformer, MLP, and CNN baselines on six of eight benchmarks. The optimized hyperparameters also serve as a diagnostic on the data itself, revealing structures that larger models absorb silently into their learned parameters.