EntroPE : Encodeur Dynamique de Patchs Guidé par l'Entropie pour la Prévision de Séries Temporelles

EntroPE: Entropy-Guided Dynamic Patch Encoder for Time Series Forecasting

September 30, 2025

papers.authors: Sachith Abeywickrama, Emadeldeen Eldele, Min Wu, Xiaoli Li, Chau Yuen

cs.AI

papers.abstract

Les modèles basés sur les Transformers ont considérablement fait progresser la prévision de séries temporelles, avec des stratégies d'entrée par patchs offrant une efficacité accrue et une meilleure modélisation à long terme. Cependant, les approches existantes reposent sur une construction de patchs temporellement agnostique, où des positions de départ arbitraires et des longueurs fixes fragmentent la cohérence temporelle en divisant les transitions naturelles aux limites. Cette segmentation naïve perturbe souvent les dépendances à court terme et affaiblit l'apprentissage de représentations. En réponse, nous proposons EntroPE (Entropy-Guided Dynamic Patch Encoder), un cadre novateur et temporellement informé qui détecte dynamiquement les points de transition via l'entropie conditionnelle et place dynamiquement les limites des patchs. Cela préserve la structure temporelle tout en conservant les avantages computationnels du patchage. EntroPE se compose de deux modules clés : un Dynamic Patcher basé sur l'entropie (EDP) qui applique des critères informationnels pour localiser les transitions temporelles naturelles et déterminer les limites des patchs, et un Adaptive Patch Encoder (APE) qui utilise le pooling et l'attention croisée pour capturer les dépendances intra-patchs et produire des représentations latentes de taille fixe. Ces embeddings sont ensuite traités par un Transformer global pour modéliser la dynamique inter-patchs. Les expériences menées sur des benchmarks de prévision à long terme démontrent qu'EntroPE améliore à la fois la précision et l'efficacité, établissant ainsi le patchage dynamique guidé par l'entropie comme un nouveau paradigme prometteur pour la modélisation des séries temporelles. Le code est disponible à l'adresse suivante : https://github.com/Sachithx/EntroPE.

English

Transformer-based models have significantly advanced time series forecasting, with patch-based input strategies offering efficiency and improved long-horizon modeling. Yet, existing approaches rely on temporally-agnostic patch construction, where arbitrary starting positions and fixed lengths fracture temporal coherence by splitting natural transitions across boundaries. This naive segmentation often disrupts short-term dependencies and weakens representation learning. In response, we propose EntroPE (Entropy-Guided Dynamic Patch Encoder), a novel, temporally informed framework that dynamically detects transition points via conditional entropy and dynamically places patch boundaries. This preserves temporal structure while retaining the computational benefits of patching. EntroPE consists of two key modules, namely an Entropy-based Dynamic Patcher (EDP) that applies information-theoretic criteria to locate natural temporal shifts and determine patch boundaries, and an Adaptive Patch Encoder (APE) that employs pooling and cross-attention to capture intra-patch dependencies and produce fixed-size latent representations. These embeddings are then processed by a global transformer to model inter-patch dynamics. Experiments across long-term forecasting benchmarks demonstrate that EntroPE improves both accuracy and efficiency, establishing entropy-guided dynamic patching as a promising new paradigm for time series modeling. Code is available at: https://github.com/Sachithx/EntroPE.