AdaPTS: 単変量基盤モデルを確率的多変量時系列予測に適応させる

AdaPTS: Adapting Univariate Foundation Models to Probabilistic Multivariate Time Series Forecasting

February 14, 2025

著者: Abdelhakim Benechehab, Vasilii Feofanov, Giuseppe Paolo, Albert Thomas, Maurizio Filippone, Balázs Kégl

cs.AI

要旨

事前学習済み基盤モデル（FMs）は、単変量時系列予測タスクにおいて卓越した性能を示しています。しかし、特徴間の複雑な依存関係の管理や予測の不確実性の定量化など、いくつかの実践的な課題が依然として存在します。本研究では、これらの重要な制約に対処するため、アダプターを導入します。アダプターは、事前学習済みの単変量時系列FMsを多変量タスクに効果的に活用するための特徴空間変換を可能にします。アダプターは、多変量入力を適切な潜在空間に射影し、各次元に独立してFMを適用することで動作します。表現学習と部分的に確率的なベイジアンニューラルネットワークに関する文献に着想を得て、我々はさまざまなアダプターと最適化/推論戦略を提案します。合成データセットと実世界のデータセットで実施した実験により、アダプターの有効性が確認され、ベースライン手法と比較して予測精度と不確実性の定量化が大幅に向上することが示されました。我々のフレームワークであるAdaPTSは、アダプターをモジュール化された、スケーラブルで効果的なソリューションとして位置づけ、多変量コンテキストでの時系列FMsの活用を促進し、実世界のアプリケーションでの広範な採用を推進します。コードはhttps://github.com/abenechehab/AdaPTSで公開しています。

English

Pre-trained foundation models (FMs) have shown exceptional performance in univariate time series forecasting tasks. However, several practical challenges persist, including managing intricate dependencies among features and quantifying uncertainty in predictions. This study aims to tackle these critical limitations by introducing adapters; feature-space transformations that facilitate the effective use of pre-trained univariate time series FMs for multivariate tasks. Adapters operate by projecting multivariate inputs into a suitable latent space and applying the FM independently to each dimension. Inspired by the literature on representation learning and partially stochastic Bayesian neural networks, we present a range of adapters and optimization/inference strategies. Experiments conducted on both synthetic and real-world datasets confirm the efficacy of adapters, demonstrating substantial enhancements in forecasting accuracy and uncertainty quantification compared to baseline methods. Our framework, AdaPTS, positions adapters as a modular, scalable, and effective solution for leveraging time series FMs in multivariate contexts, thereby promoting their wider adoption in real-world applications. We release the code at https://github.com/abenechehab/AdaPTS.