EntroPE: 시계열 예측을 위한 엔트로피 기반 동적 패치 인코더

EntroPE: Entropy-Guided Dynamic Patch Encoder for Time Series Forecasting

September 30, 2025

저자: Sachith Abeywickrama, Emadeldeen Eldele, Min Wu, Xiaoli Li, Chau Yuen

cs.AI

초록

Transformer 기반 모델은 시계열 예측 분야에서 큰 진전을 이루었으며, 패치 기반 입력 전략은 효율성과 장기 예측 모델링의 개선을 제공합니다. 그러나 기존 접근 방식은 시간적 맥락을 고려하지 않은 패치 구성을 사용하여, 임의의 시작 위치와 고정된 길이가 자연스러운 전이를 경계에서 분리함으로써 시간적 일관성을 깨뜨립니다. 이러한 단순한 분할은 종종 단기 의존성을 방해하고 표현 학습을 약화시킵니다. 이에 대응하여, 우리는 조건부 엔트로피를 통해 전이 지점을 동적으로 감지하고 패치 경계를 동적으로 설정하는 새로운 시간적 정보 기반 프레임워크인 EntroPE(Entropy-Guided Dynamic Patch Encoder)를 제안합니다. 이는 패칭의 계산적 이점을 유지하면서 시간적 구조를 보존합니다. EntroPE는 두 가지 주요 모듈로 구성됩니다: 정보 이론적 기준을 적용하여 자연스러운 시간적 전이를 찾고 패치 경계를 결정하는 엔트로피 기반 동적 패처(EDP), 그리고 풀링과 교차 주의력을 사용하여 패치 내 의존성을 포착하고 고정 크기의 잠재 표현을 생성하는 적응형 패치 인코더(APE). 이러한 임베딩은 전역 Transformer에 의해 처리되어 패치 간 동적 관계를 모델링합니다. 장기 예측 벤치마크에서의 실험 결과, EntroPE는 정확도와 효율성 모두를 개선하며, 엔트로피 기반 동적 패칭이 시계열 모델링을 위한 유망한 새로운 패러다임임을 입증합니다. 코드는 https://github.com/Sachithx/EntroPE에서 확인할 수 있습니다.

English

Transformer-based models have significantly advanced time series forecasting, with patch-based input strategies offering efficiency and improved long-horizon modeling. Yet, existing approaches rely on temporally-agnostic patch construction, where arbitrary starting positions and fixed lengths fracture temporal coherence by splitting natural transitions across boundaries. This naive segmentation often disrupts short-term dependencies and weakens representation learning. In response, we propose EntroPE (Entropy-Guided Dynamic Patch Encoder), a novel, temporally informed framework that dynamically detects transition points via conditional entropy and dynamically places patch boundaries. This preserves temporal structure while retaining the computational benefits of patching. EntroPE consists of two key modules, namely an Entropy-based Dynamic Patcher (EDP) that applies information-theoretic criteria to locate natural temporal shifts and determine patch boundaries, and an Adaptive Patch Encoder (APE) that employs pooling and cross-attention to capture intra-patch dependencies and produce fixed-size latent representations. These embeddings are then processed by a global transformer to model inter-patch dynamics. Experiments across long-term forecasting benchmarks demonstrate that EntroPE improves both accuracy and efficiency, establishing entropy-guided dynamic patching as a promising new paradigm for time series modeling. Code is available at: https://github.com/Sachithx/EntroPE.