포괄적 모델을 넘어서: 심층 다변량 시계열 예측의 체계적인 구성 요소 수준 벤치마킹

초록

기존의 다변량 시계열 예측 연구는 복잡한 전체론적 모델 개발에 초점을 맞춰 왔으나, 본 연구는 이들의 영향에 대한 세분화된 구성 요소 수준의 이해로 전환할 것을 주장한다. 우리는 TSCOMP를 제안한다. 이는 심층 예측 방법을 시계열 전처리, 인코딩 전략, 특정 및 대규모 시계열 모델을 포함한 네트워크 아키텍처, 최적화 방법에 이르는 핵심적인 세부 구성 요소로 체계적으로 분해하는 최초의 대규모 벤치마크이다. 제약적 직교 실험 설계와 광범위한 평가를 활용하여, 다양한 백본, 데이터 특성 및 이들 간의 상호작용에 걸쳐 구성 요소의 효과성을 드러내는 다각적 분석을 수행한다. 통찰력을 제공하는 것 외에도, 이 벤치마크는 20,000개 이상의 모델-데이터셋 평가로 구성된 세분화된 성능 코퍼스를 구축하여 자동화된 구성 요소 선택 학습을 지원하며, 이를 통해 새로운 데이터셋에 대한 제로샷 모델 구축을 가능하게 한다. 실험 결과, 코퍼스 기반 접근 방식은 단순함에도 불구하고 최신 방법들을 일관되게 능가하여, 본 평가 설계의 타당성을 입증하고 체계적인 구성 요소 선택이 수동으로 설계된 복잡한 아키텍처를 능가함을 확인하였다. 모든 코드와 성능 코퍼스는 https://github.com/SUFE-AILAB/TSCOMP에서 공개적으로 이용 가능하다.

English

While previous research in multivariate time series forecasting has focused on developing complex holistic models, this work advocates for a shift toward a granular, component-level understanding of their impacts. We propose TSCOMP, the first large-scale benchmark that systematically deconstructs deep forecasting methods into their core, fine-grained components--spanning series preprocessing, encoding strategies, network architectures including specific and large time-series models, and optimization methods. Using constrained orthogonal experimental design and extensive evaluations, we conduct multi-view analyses that reveal component effectiveness across different backbones, data characteristics, and their interactions. Beyond providing insights, this benchmark establishes a fine-grained performance corpus comprising over 20,000 model-dataset evaluations, which supports the learning of automated component selection, enabling zero-shot model construction on new datasets. Our experiments demonstrate that the corpus-driven approach, despite its simplicity, consistently outperforms state-of-the-art methods, validating the soundness of our evaluation design and confirming that systematic component selection surpasses manually designed complex architectures. All code and the performance corpus are publicly available at https://github.com/SUFE-AILAB/TSCOMP.