EntroPE: Codificatore Dinamico a Patch Guidato dall'Entropia per la Previsione di Serie Temporali

EntroPE: Entropy-Guided Dynamic Patch Encoder for Time Series Forecasting

September 30, 2025

Autori: Sachith Abeywickrama, Emadeldeen Eldele, Min Wu, Xiaoli Li, Chau Yuen

cs.AI

Abstract

I modelli basati su Transformer hanno fatto significativi progressi nella previsione di serie temporali, con strategie di input basate su patch che offrono efficienza e un miglioramento nella modellazione a lungo termine. Tuttavia, gli approcci esistenti si basano su una costruzione di patch temporalmente agnostica, in cui posizioni di partenza arbitrarie e lunghezze fisse frammentano la coerenza temporale dividendo le transizioni naturali attraverso i confini. Questa segmentazione ingenua spesso interrompe le dipendenze a breve termine e indebolisce l'apprendimento della rappresentazione. In risposta, proponiamo EntroPE (Entropy-Guided Dynamic Patch Encoder), un nuovo framework temporalmente informato che rileva dinamicamente i punti di transizione tramite l'entropia condizionale e posiziona dinamicamente i confini delle patch. Questo preserva la struttura temporale mantenendo i vantaggi computazionali del patching. EntroPE è composto da due moduli chiave, ovvero un Dynamic Patcher basato su Entropia (EDP) che applica criteri teorici dell'informazione per individuare i cambiamenti temporali naturali e determinare i confini delle patch, e un Adaptive Patch Encoder (APE) che utilizza pooling e cross-attention per catturare le dipendenze intra-patch e produrre rappresentazioni latenti di dimensione fissa. Questi embedding vengono poi elaborati da un transformer globale per modellare le dinamiche inter-patch. Esperimenti su benchmark di previsione a lungo termine dimostrano che EntroPE migliora sia l'accuratezza che l'efficienza, stabilendo il dynamic patching guidato dall'entropia come un nuovo paradigma promettente per la modellazione di serie temporali. Il codice è disponibile all'indirizzo: https://github.com/Sachithx/EntroPE.

English

Transformer-based models have significantly advanced time series forecasting, with patch-based input strategies offering efficiency and improved long-horizon modeling. Yet, existing approaches rely on temporally-agnostic patch construction, where arbitrary starting positions and fixed lengths fracture temporal coherence by splitting natural transitions across boundaries. This naive segmentation often disrupts short-term dependencies and weakens representation learning. In response, we propose EntroPE (Entropy-Guided Dynamic Patch Encoder), a novel, temporally informed framework that dynamically detects transition points via conditional entropy and dynamically places patch boundaries. This preserves temporal structure while retaining the computational benefits of patching. EntroPE consists of two key modules, namely an Entropy-based Dynamic Patcher (EDP) that applies information-theoretic criteria to locate natural temporal shifts and determine patch boundaries, and an Adaptive Patch Encoder (APE) that employs pooling and cross-attention to capture intra-patch dependencies and produce fixed-size latent representations. These embeddings are then processed by a global transformer to model inter-patch dynamics. Experiments across long-term forecasting benchmarks demonstrate that EntroPE improves both accuracy and efficiency, establishing entropy-guided dynamic patching as a promising new paradigm for time series modeling. Code is available at: https://github.com/Sachithx/EntroPE.