EntroPE: Entropie-Gestuurde Dynamische Patch Encoder voor Tijdreeksvoorspelling

EntroPE: Entropy-Guided Dynamic Patch Encoder for Time Series Forecasting

September 30, 2025

Auteurs: Sachith Abeywickrama, Emadeldeen Eldele, Min Wu, Xiaoli Li, Chau Yuen

cs.AI

Samenvatting

Transformer-gebaseerde modellen hebben aanzienlijke vooruitgang geboekt in tijdreeksvoorspelling, waarbij patch-gebaseerde invoerstrategieën efficiëntie en verbeterde modellering op lange termijn bieden. Toch vertrouwen bestaande benaderingen op temporeel-agnostische patchconstructie, waarbij willekeurige startposities en vaste lengtes temporele samenhang verstoren door natuurlijke overgangen over grenzen heen te splitsen. Deze naïeve segmentatie verstoort vaak kortetermijnafhankelijkheden en verzwakt representatie-leren. Als reactie hierop stellen we EntroPE (Entropy-Guided Dynamic Patch Encoder) voor, een nieuw, temporeel geïnformeerd framework dat dynamisch overgangspunten detecteert via conditionele entropie en dynamisch patchgrenzen plaatst. Dit behoudt de temporele structuur terwijl de computationele voordelen van patching behouden blijven. EntroPE bestaat uit twee belangrijke modules, namelijk een Entropie-gebaseerde Dynamische Patcher (EDP) die informatie-theoretische criteria toepast om natuurlijke temporele verschuivingen te lokaliseren en patchgrenzen te bepalen, en een Adaptieve Patch Encoder (APE) die pooling en cross-attention gebruikt om intra-patch afhankelijkheden vast te leggen en vaste grootte latente representaties te produceren. Deze embeddings worden vervolgens verwerkt door een globale transformer om inter-patch dynamiek te modelleren. Experimenten op benchmarks voor langetermijnvoorspelling tonen aan dat EntroPE zowel nauwkeurigheid als efficiëntie verbetert, en entropie-geleide dynamische patching vestigt als een veelbelovend nieuw paradigma voor tijdreeksmodellering. Code is beschikbaar op: https://github.com/Sachithx/EntroPE.

English

Transformer-based models have significantly advanced time series forecasting, with patch-based input strategies offering efficiency and improved long-horizon modeling. Yet, existing approaches rely on temporally-agnostic patch construction, where arbitrary starting positions and fixed lengths fracture temporal coherence by splitting natural transitions across boundaries. This naive segmentation often disrupts short-term dependencies and weakens representation learning. In response, we propose EntroPE (Entropy-Guided Dynamic Patch Encoder), a novel, temporally informed framework that dynamically detects transition points via conditional entropy and dynamically places patch boundaries. This preserves temporal structure while retaining the computational benefits of patching. EntroPE consists of two key modules, namely an Entropy-based Dynamic Patcher (EDP) that applies information-theoretic criteria to locate natural temporal shifts and determine patch boundaries, and an Adaptive Patch Encoder (APE) that employs pooling and cross-attention to capture intra-patch dependencies and produce fixed-size latent representations. These embeddings are then processed by a global transformer to model inter-patch dynamics. Experiments across long-term forecasting benchmarks demonstrate that EntroPE improves both accuracy and efficiency, establishing entropy-guided dynamic patching as a promising new paradigm for time series modeling. Code is available at: https://github.com/Sachithx/EntroPE.