LETS Voorspelling: Het leren van Embedologie voor Tijdreeksvoorspelling

Samenvatting

Real-world tijdreeksen worden vaak bepaald door complexe niet-lineaire dynamica. Het begrijpen van deze onderliggende dynamica is cruciaal voor nauwkeurige toekomstige voorspellingen. Hoewel deep learning grote successen heeft geboekt in het voorspellen van tijdreeksen, modelleren veel bestaande benaderingen de dynamica niet expliciet. Om deze kloof te overbruggen, introduceren we DeepEDM, een raamwerk dat niet-lineaire dynamische systeemmodellering integreert met deep neural networks. Geïnspireerd door empirische dynamische modellering (EDM) en geworteld in de stelling van Takens, presenteert DeepEDM een nieuw deep model dat een latente ruimte leert uit tijdvertraagde embeddings, en kernelregressie gebruikt om de onderliggende dynamica te benaderen, terwijl het efficiënte implementaties van softmax-attentie benut en nauwkeurige voorspellingen van toekomstige tijdstappen mogelijk maakt. Om onze methode te evalueren, voeren we uitgebreide experimenten uit op synthetische data van niet-lineaire dynamische systemen en real-world tijdreeksen uit verschillende domeinen. Onze resultaten tonen aan dat DeepEDM robuust is tegen invoerruis, en state-of-the-art methoden overtreft in voorspellingsnauwkeurigheid. Onze code is beschikbaar op: https://abrarmajeedi.github.io/deep_edm.

English

Real-world time series are often governed by complex nonlinear dynamics. Understanding these underlying dynamics is crucial for precise future prediction. While deep learning has achieved major success in time series forecasting, many existing approaches do not explicitly model the dynamics. To bridge this gap, we introduce DeepEDM, a framework that integrates nonlinear dynamical systems modeling with deep neural networks. Inspired by empirical dynamic modeling (EDM) and rooted in Takens' theorem, DeepEDM presents a novel deep model that learns a latent space from time-delayed embeddings, and employs kernel regression to approximate the underlying dynamics, while leveraging efficient implementation of softmax attention and allowing for accurate prediction of future time steps. To evaluate our method, we conduct comprehensive experiments on synthetic data of nonlinear dynamical systems as well as real-world time series across domains. Our results show that DeepEDM is robust to input noise, and outperforms state-of-the-art methods in forecasting accuracy. Our code is available at: https://abrarmajeedi.github.io/deep_edm.

LETS Voorspelling: Het leren van Embedologie voor Tijdreeksvoorspelling

LETS Forecast: Learning Embedology for Time Series Forecasting

Samenvatting

Support