LETS Forecast : Apprentissage de l'Embedologie pour la Prédiction de Séries Temporelles

LETS Forecast: Learning Embedology for Time Series Forecasting

June 6, 2025

Auteurs: Abrar Majeedi, Viswanatha Reddy Gajjala, Satya Sai Srinath Namburi GNVV, Nada Magdi Elkordi, Yin Li

cs.AI

Résumé

Les séries temporelles du monde réel sont souvent régies par des dynamiques non linéaires complexes. Comprendre ces dynamiques sous-jacentes est crucial pour une prédiction future précise. Bien que l'apprentissage profond ait connu un succès majeur dans la prévision des séries temporelles, de nombreuses approches existantes ne modélisent pas explicitement ces dynamiques. Pour combler cette lacune, nous introduisons DeepEDM, un cadre qui intègre la modélisation des systèmes dynamiques non linéaires avec les réseaux de neurones profonds. Inspiré par la modélisation dynamique empirique (EDM) et ancré dans le théorème de Takens, DeepEDM présente un nouveau modèle profond qui apprend un espace latent à partir d'embeddings temporels retardés, et utilise la régression par noyau pour approximer les dynamiques sous-jacentes, tout en exploitant une implémentation efficace de l'attention softmax et en permettant une prédiction précise des pas de temps futurs. Pour évaluer notre méthode, nous menons des expériences approfondies sur des données synthétiques de systèmes dynamiques non linéaires ainsi que sur des séries temporelles réelles issues de divers domaines. Nos résultats montrent que DeepEDM est robuste au bruit d'entrée et surpasse les méthodes de pointe en termes de précision de prévision. Notre code est disponible à l'adresse : https://abrarmajeedi.github.io/deep_edm.

English

Real-world time series are often governed by complex nonlinear dynamics. Understanding these underlying dynamics is crucial for precise future prediction. While deep learning has achieved major success in time series forecasting, many existing approaches do not explicitly model the dynamics. To bridge this gap, we introduce DeepEDM, a framework that integrates nonlinear dynamical systems modeling with deep neural networks. Inspired by empirical dynamic modeling (EDM) and rooted in Takens' theorem, DeepEDM presents a novel deep model that learns a latent space from time-delayed embeddings, and employs kernel regression to approximate the underlying dynamics, while leveraging efficient implementation of softmax attention and allowing for accurate prediction of future time steps. To evaluate our method, we conduct comprehensive experiments on synthetic data of nonlinear dynamical systems as well as real-world time series across domains. Our results show that DeepEDM is robust to input noise, and outperforms state-of-the-art methods in forecasting accuracy. Our code is available at: https://abrarmajeedi.github.io/deep_edm.