LETS 예측: 시계열 예측을 위한 임베딩학습

초록

실제 세계의 시계열 데이터는 종종 복잡한 비선형 동역학에 의해 지배됩니다. 이러한 기본 동역학을 이해하는 것은 정확한 미래 예측을 위해 매우 중요합니다. 딥러닝은 시계열 예측에서 큰 성공을 거두었지만, 많은 기존 접근법들은 동역학을 명시적으로 모델링하지 않습니다. 이러한 격차를 해소하기 위해, 우리는 비선형 동역학 시스템 모델링과 딥 신경망을 통합한 DeepEDM 프레임워크를 소개합니다. 경험적 동역학 모델링(EDM)에서 영감을 받고 Takens의 정리에 기반을 둔 DeepEDM은 시간 지연 임베딩에서 잠재 공간을 학습하고, 기본 동역학을 근사하기 위해 커널 회귀를 사용하며, 소프트맥스 어텐션의 효율적인 구현을 활용하여 미래 시간 단계를 정확하게 예측할 수 있는 새로운 딥 모델을 제시합니다. 우리의 방법을 평가하기 위해, 비선형 동역학 시스템의 합성 데이터와 다양한 도메인의 실제 시계열 데이터에 대해 포괄적인 실험을 수행했습니다. 우리의 결과는 DeepEDM이 입력 노이즈에 강건하며, 예측 정확도에서 최첨단 방법들을 능가함을 보여줍니다. 우리의 코드는 https://abrarmajeedi.github.io/deep_edm에서 확인할 수 있습니다.

English

Real-world time series are often governed by complex nonlinear dynamics. Understanding these underlying dynamics is crucial for precise future prediction. While deep learning has achieved major success in time series forecasting, many existing approaches do not explicitly model the dynamics. To bridge this gap, we introduce DeepEDM, a framework that integrates nonlinear dynamical systems modeling with deep neural networks. Inspired by empirical dynamic modeling (EDM) and rooted in Takens' theorem, DeepEDM presents a novel deep model that learns a latent space from time-delayed embeddings, and employs kernel regression to approximate the underlying dynamics, while leveraging efficient implementation of softmax attention and allowing for accurate prediction of future time steps. To evaluate our method, we conduct comprehensive experiments on synthetic data of nonlinear dynamical systems as well as real-world time series across domains. Our results show that DeepEDM is robust to input noise, and outperforms state-of-the-art methods in forecasting accuracy. Our code is available at: https://abrarmajeedi.github.io/deep_edm.

LETS 예측: 시계열 예측을 위한 임베딩학습

LETS Forecast: Learning Embedology for Time Series Forecasting

초록

Support