EntroPE: Codificador Dinámico de Parches Guiado por Entropía para la Predicción de Series Temporales

EntroPE: Entropy-Guided Dynamic Patch Encoder for Time Series Forecasting

September 30, 2025

Autores: Sachith Abeywickrama, Emadeldeen Eldele, Min Wu, Xiaoli Li, Chau Yuen

cs.AI

Resumen

Los modelos basados en Transformers han avanzado significativamente en la predicción de series temporales, con estrategias de entrada basadas en parches que ofrecen eficiencia y mejoras en el modelado de horizontes largos. Sin embargo, los enfoques existentes dependen de la construcción de parches temporalmente agnósticos, donde posiciones iniciales arbitrarias y longitudes fijas fracturan la coherencia temporal al dividir transiciones naturales a través de límites. Esta segmentación ingenua a menudo interrumpe las dependencias a corto plazo y debilita el aprendizaje de representaciones. En respuesta, proponemos EntroPE (Codificador de Parches Dinámicos Guiado por Entropía), un marco novedoso e informado temporalmente que detecta dinámicamente puntos de transición mediante entropía condicional y coloca dinámicamente los límites de los parches. Esto preserva la estructura temporal mientras mantiene los beneficios computacionales del uso de parches. EntroPE consta de dos módulos clave: un Segmentador Dinámico Basado en Entropía (EDP, por sus siglas en inglés) que aplica criterios de teoría de la información para localizar cambios temporales naturales y determinar los límites de los parches, y un Codificador de Parches Adaptativo (APE, por sus siglas en inglés) que emplea agrupación y atención cruzada para capturar dependencias intra-parche y producir representaciones latentes de tamaño fijo. Estas incrustaciones son luego procesadas por un Transformer global para modelar la dinámica inter-parche. Los experimentos en benchmarks de predicción a largo plazo demuestran que EntroPE mejora tanto la precisión como la eficiencia, estableciendo el uso de parches dinámicos guiados por entropía como un nuevo paradigma prometedor para el modelado de series temporales. El código está disponible en: https://github.com/Sachithx/EntroPE.

English

Transformer-based models have significantly advanced time series forecasting, with patch-based input strategies offering efficiency and improved long-horizon modeling. Yet, existing approaches rely on temporally-agnostic patch construction, where arbitrary starting positions and fixed lengths fracture temporal coherence by splitting natural transitions across boundaries. This naive segmentation often disrupts short-term dependencies and weakens representation learning. In response, we propose EntroPE (Entropy-Guided Dynamic Patch Encoder), a novel, temporally informed framework that dynamically detects transition points via conditional entropy and dynamically places patch boundaries. This preserves temporal structure while retaining the computational benefits of patching. EntroPE consists of two key modules, namely an Entropy-based Dynamic Patcher (EDP) that applies information-theoretic criteria to locate natural temporal shifts and determine patch boundaries, and an Adaptive Patch Encoder (APE) that employs pooling and cross-attention to capture intra-patch dependencies and produce fixed-size latent representations. These embeddings are then processed by a global transformer to model inter-patch dynamics. Experiments across long-term forecasting benchmarks demonstrate that EntroPE improves both accuracy and efficiency, establishing entropy-guided dynamic patching as a promising new paradigm for time series modeling. Code is available at: https://github.com/Sachithx/EntroPE.