LETS Forecast: Aprendendo Embedologia para Previsão de Séries Temporais

LETS Forecast: Learning Embedology for Time Series Forecasting

June 6, 2025

Autores: Abrar Majeedi, Viswanatha Reddy Gajjala, Satya Sai Srinath Namburi GNVV, Nada Magdi Elkordi, Yin Li

cs.AI

Resumo

Séries temporais do mundo real são frequentemente governadas por dinâmicas não lineares complexas. Compreender essas dinâmicas subjacentes é crucial para previsões futuras precisas. Embora o aprendizado profundo tenha alcançado grande sucesso na previsão de séries temporais, muitas abordagens existentes não modelam explicitamente as dinâmicas. Para preencher essa lacuna, apresentamos o DeepEDM, uma estrutura que integra a modelagem de sistemas dinâmicos não lineares com redes neurais profundas. Inspirado pela modelagem dinâmica empírica (EDM) e fundamentado no teorema de Takens, o DeepEDM apresenta um novo modelo profundo que aprende um espaço latente a partir de incorporações com atraso temporal e emprega regressão de kernel para aproximar as dinâmicas subjacentes, ao mesmo tempo que aproveita uma implementação eficiente da atenção softmax e permite a previsão precisa de passos temporais futuros. Para avaliar nosso método, realizamos experimentos abrangentes com dados sintéticos de sistemas dinâmicos não lineares, bem como com séries temporais reais de diversos domínios. Nossos resultados mostram que o DeepEDM é robusto ao ruído de entrada e supera métodos state-of-the-art em precisão de previsão. Nosso código está disponível em: https://abrarmajeedi.github.io/deep_edm.

English

Real-world time series are often governed by complex nonlinear dynamics. Understanding these underlying dynamics is crucial for precise future prediction. While deep learning has achieved major success in time series forecasting, many existing approaches do not explicitly model the dynamics. To bridge this gap, we introduce DeepEDM, a framework that integrates nonlinear dynamical systems modeling with deep neural networks. Inspired by empirical dynamic modeling (EDM) and rooted in Takens' theorem, DeepEDM presents a novel deep model that learns a latent space from time-delayed embeddings, and employs kernel regression to approximate the underlying dynamics, while leveraging efficient implementation of softmax attention and allowing for accurate prediction of future time steps. To evaluate our method, we conduct comprehensive experiments on synthetic data of nonlinear dynamical systems as well as real-world time series across domains. Our results show that DeepEDM is robust to input noise, and outperforms state-of-the-art methods in forecasting accuracy. Our code is available at: https://abrarmajeedi.github.io/deep_edm.