LETS Forecast: 時系列予測のための埋め込み学の学習

要旨

現実世界の時系列データは、しばしば複雑な非線形ダイナミクスによって支配されています。これらの根本的なダイナミクスを理解することは、正確な未来予測にとって極めて重要です。深層学習は時系列予測において大きな成功を収めてきましたが、既存の多くのアプローチはダイナミクスを明示的にモデル化していません。このギャップを埋めるため、我々は非線形ダイナミクスシステムモデリングと深層ニューラルネットワークを統合したフレームワークであるDeepEDMを提案します。経験的ダイナミクスモデリング（EDM）に着想を得て、Takensの定理に基づくDeepEDMは、時間遅れ埋め込みから潜在空間を学習し、カーネル回帰を用いて基礎となるダイナミクスを近似する新しい深層モデルを提示します。さらに、ソフトマックスアテンションの効率的な実装を活用し、将来の時系列ステップを正確に予測することを可能にします。本手法を評価するため、非線形ダイナミクスシステムの合成データおよび複数領域にわたる実世界の時系列データを用いて包括的な実験を行いました。その結果、DeepEDMは入力ノイズに対してロバストであり、予測精度において最先端の手法を凌駕することが示されました。我々のコードは以下で公開されています: https://abrarmajeedi.github.io/deep_edm。

English

Real-world time series are often governed by complex nonlinear dynamics. Understanding these underlying dynamics is crucial for precise future prediction. While deep learning has achieved major success in time series forecasting, many existing approaches do not explicitly model the dynamics. To bridge this gap, we introduce DeepEDM, a framework that integrates nonlinear dynamical systems modeling with deep neural networks. Inspired by empirical dynamic modeling (EDM) and rooted in Takens' theorem, DeepEDM presents a novel deep model that learns a latent space from time-delayed embeddings, and employs kernel regression to approximate the underlying dynamics, while leveraging efficient implementation of softmax attention and allowing for accurate prediction of future time steps. To evaluate our method, we conduct comprehensive experiments on synthetic data of nonlinear dynamical systems as well as real-world time series across domains. Our results show that DeepEDM is robust to input noise, and outperforms state-of-the-art methods in forecasting accuracy. Our code is available at: https://abrarmajeedi.github.io/deep_edm.

LETS Forecast: 時系列予測のための埋め込み学の学習

LETS Forecast: Learning Embedology for Time Series Forecasting

要旨

Support