EntroPE: Entropie-geführter dynamischer Patch-Encoder für Zeitreihenvorhersage

EntroPE: Entropy-Guided Dynamic Patch Encoder for Time Series Forecasting

September 30, 2025

papers.authors: Sachith Abeywickrama, Emadeldeen Eldele, Min Wu, Xiaoli Li, Chau Yuen

cs.AI

papers.abstract

Transformer-basierte Modelle haben die Zeitreihenvorhersage erheblich vorangetrieben, wobei patch-basierte Eingabestrategien Effizienz und verbesserte Langzeitmodellierung bieten. Bisherige Ansätze beruhen jedoch auf zeitlich unabhängiger Patch-Konstruktion, bei der willkürliche Startpositionen und feste Längen die zeitliche Kohärenz durch die Aufteilung natürlicher Übergänge über Grenzen hinweg beeinträchtigen. Diese naive Segmentierung stört oft kurzfristige Abhängigkeiten und schwächt das Repräsentationslernen. Als Antwort darauf schlagen wir EntroPE (Entropy-Guided Dynamic Patch Encoder) vor, ein neuartiges, zeitlich informiertes Framework, das Übergangspunkte dynamisch über bedingte Entropie erkennt und Patch-Grenzen dynamisch setzt. Dies bewahrt die zeitliche Struktur, während die rechnerischen Vorteile des Patchings erhalten bleiben. EntroPE besteht aus zwei Schlüsselmodulen: einem Entropie-basierten Dynamic Patcher (EDP), der informationstheoretische Kriterien anwendet, um natürliche zeitliche Verschiebungen zu lokalisieren und Patch-Grenzen zu bestimmen, und einem Adaptiven Patch Encoder (APE), der Pooling und Cross-Attention verwendet, um intra-Patch-Abhängigkeiten zu erfassen und feste latente Repräsentationen zu erzeugen. Diese Einbettungen werden dann von einem globalen Transformer verarbeitet, um inter-Patch-Dynamiken zu modellieren. Experimente über Langzeitvorhersage-Benchmarks zeigen, dass EntroPE sowohl die Genauigkeit als auch die Effizienz verbessert und damit die entropie-geführte dynamische Patch-Erstellung als vielversprechendes neues Paradigma für die Zeitreihenmodellierung etabliert. Der Code ist verfügbar unter: https://github.com/Sachithx/EntroPE.

English

Transformer-based models have significantly advanced time series forecasting, with patch-based input strategies offering efficiency and improved long-horizon modeling. Yet, existing approaches rely on temporally-agnostic patch construction, where arbitrary starting positions and fixed lengths fracture temporal coherence by splitting natural transitions across boundaries. This naive segmentation often disrupts short-term dependencies and weakens representation learning. In response, we propose EntroPE (Entropy-Guided Dynamic Patch Encoder), a novel, temporally informed framework that dynamically detects transition points via conditional entropy and dynamically places patch boundaries. This preserves temporal structure while retaining the computational benefits of patching. EntroPE consists of two key modules, namely an Entropy-based Dynamic Patcher (EDP) that applies information-theoretic criteria to locate natural temporal shifts and determine patch boundaries, and an Adaptive Patch Encoder (APE) that employs pooling and cross-attention to capture intra-patch dependencies and produce fixed-size latent representations. These embeddings are then processed by a global transformer to model inter-patch dynamics. Experiments across long-term forecasting benchmarks demonstrate that EntroPE improves both accuracy and efficiency, establishing entropy-guided dynamic patching as a promising new paradigm for time series modeling. Code is available at: https://github.com/Sachithx/EntroPE.