EntroPE: 時系列予測のためのエントロピー誘導型動的パッチエンコーダ

EntroPE: Entropy-Guided Dynamic Patch Encoder for Time Series Forecasting

September 30, 2025

著者: Sachith Abeywickrama, Emadeldeen Eldele, Min Wu, Xiaoli Li, Chau Yuen

cs.AI

要旨

Transformerベースのモデルは、時系列予測において著しい進歩を遂げており、パッチベースの入力戦略が効率性と長期的なモデリングの改善を提供しています。しかし、既存のアプローチは時間的に無関係なパッチ構築に依存しており、任意の開始位置と固定長が自然な遷移を境界で分割することで時間的連続性を損なっています。この単純なセグメンテーションは、短期的な依存関係を破壊し、表現学習を弱めることがしばしばあります。これに対応して、我々はEntroPE（Entropy-Guided Dynamic Patch Encoder）を提案します。これは、条件付きエントロピーを介して遷移点を動的に検出し、パッチ境界を動的に配置する、時間的に情報化された新しいフレームワークです。これにより、時間的構造を保持しながら、パッチングの計算上の利点を維持します。EntroPEは、情報理論的基準を適用して自然な時間的シフトを特定し、パッチ境界を決定するエントロピーベースのダイナミックパッチャー（EDP）と、プーリングとクロスアテンションを採用してパッチ内の依存関係を捕捉し、固定サイズの潜在表現を生成する適応型パッチエンコーダー（APE）という2つの主要モジュールで構成されています。これらの埋め込みは、パッチ間のダイナミクスをモデル化するためにグローバルトランスフォーマーによって処理されます。長期的な予測ベンチマークでの実験により、EntroPEが精度と効率の両方を向上させ、エントロピーガイドのダイナミックパッチングが時系列モデリングの有望な新しいパラダイムとして確立されることが示されています。コードは以下で利用可能です：https://github.com/Sachithx/EntroPE。

English

Transformer-based models have significantly advanced time series forecasting, with patch-based input strategies offering efficiency and improved long-horizon modeling. Yet, existing approaches rely on temporally-agnostic patch construction, where arbitrary starting positions and fixed lengths fracture temporal coherence by splitting natural transitions across boundaries. This naive segmentation often disrupts short-term dependencies and weakens representation learning. In response, we propose EntroPE (Entropy-Guided Dynamic Patch Encoder), a novel, temporally informed framework that dynamically detects transition points via conditional entropy and dynamically places patch boundaries. This preserves temporal structure while retaining the computational benefits of patching. EntroPE consists of two key modules, namely an Entropy-based Dynamic Patcher (EDP) that applies information-theoretic criteria to locate natural temporal shifts and determine patch boundaries, and an Adaptive Patch Encoder (APE) that employs pooling and cross-attention to capture intra-patch dependencies and produce fixed-size latent representations. These embeddings are then processed by a global transformer to model inter-patch dynamics. Experiments across long-term forecasting benchmarks demonstrate that EntroPE improves both accuracy and efficiency, establishing entropy-guided dynamic patching as a promising new paradigm for time series modeling. Code is available at: https://github.com/Sachithx/EntroPE.