EntroPE: Codificador Dinâmico de Patches Guiado por Entropia para Previsão de Séries Temporais

EntroPE: Entropy-Guided Dynamic Patch Encoder for Time Series Forecasting

September 30, 2025

Autores: Sachith Abeywickrama, Emadeldeen Eldele, Min Wu, Xiaoli Li, Chau Yuen

cs.AI

Resumo

Modelos baseados em Transformadores avançaram significativamente a previsão de séries temporais, com estratégias de entrada baseadas em patches oferecendo eficiência e melhor modelagem de longo horizonte. No entanto, as abordagens existentes dependem da construção de patches temporalmente agnósticos, onde posições iniciais arbitrárias e comprimentos fixos fragmentam a coerência temporal ao dividir transições naturais entre os limites. Essa segmentação ingênua frequentemente interrompe dependências de curto prazo e enfraquece o aprendizado de representação. Em resposta, propomos o EntroPE (Entropy-Guided Dynamic Patch Encoder), uma estrutura nova e temporalmente informada que detecta dinamicamente pontos de transição por meio de entropia condicional e posiciona dinamicamente os limites dos patches. Isso preserva a estrutura temporal enquanto mantém os benefícios computacionais do uso de patches. O EntroPE consiste em dois módulos principais: um Dynamic Patcher baseado em Entropia (EDP) que aplica critérios teóricos da informação para localizar mudanças temporais naturais e determinar os limites dos patches, e um Adaptive Patch Encoder (APE) que emprega pooling e atenção cruzada para capturar dependências intra-patch e produzir representações latentes de tamanho fixo. Esses embeddings são então processados por um transformer global para modelar a dinâmica inter-patch. Experimentos em benchmarks de previsão de longo prazo demonstram que o EntroPE melhora tanto a precisão quanto a eficiência, estabelecendo o patching dinâmico guiado por entropia como um novo paradigma promissor para a modelagem de séries temporais. O código está disponível em: https://github.com/Sachithx/EntroPE.

English

Transformer-based models have significantly advanced time series forecasting, with patch-based input strategies offering efficiency and improved long-horizon modeling. Yet, existing approaches rely on temporally-agnostic patch construction, where arbitrary starting positions and fixed lengths fracture temporal coherence by splitting natural transitions across boundaries. This naive segmentation often disrupts short-term dependencies and weakens representation learning. In response, we propose EntroPE (Entropy-Guided Dynamic Patch Encoder), a novel, temporally informed framework that dynamically detects transition points via conditional entropy and dynamically places patch boundaries. This preserves temporal structure while retaining the computational benefits of patching. EntroPE consists of two key modules, namely an Entropy-based Dynamic Patcher (EDP) that applies information-theoretic criteria to locate natural temporal shifts and determine patch boundaries, and an Adaptive Patch Encoder (APE) that employs pooling and cross-attention to capture intra-patch dependencies and produce fixed-size latent representations. These embeddings are then processed by a global transformer to model inter-patch dynamics. Experiments across long-term forecasting benchmarks demonstrate that EntroPE improves both accuracy and efficiency, establishing entropy-guided dynamic patching as a promising new paradigm for time series modeling. Code is available at: https://github.com/Sachithx/EntroPE.