EntroPE: Динамический кодировщик патчей с управлением по энтропии для прогнозирования временных рядов

EntroPE: Entropy-Guided Dynamic Patch Encoder for Time Series Forecasting

September 30, 2025

Авторы: Sachith Abeywickrama, Emadeldeen Eldele, Min Wu, Xiaoli Li, Chau Yuen

cs.AI

Аннотация

Трансформерные модели значительно продвинули прогнозирование временных рядов, при этом стратегии ввода данных на основе патчей обеспечивают эффективность и улучшенное моделирование на длительных горизонтах. Однако существующие подходы полагаются на временно-агностическое построение патчей, где произвольные начальные позиции и фиксированные длины нарушают временную согласованность, разделяя естественные переходы на границах. Такое наивное сегментирование часто разрушает краткосрочные зависимости и ослабляет обучение представлений. В ответ на это мы предлагаем EntroPE (Entropy-Guided Dynamic Patch Encoder), новую, временно-информированную структуру, которая динамически обнаруживает точки перехода с помощью условной энтропии и динамически размещает границы патчей. Это сохраняет временную структуру, сохраняя при этом вычислительные преимущества патчинга. EntroPE состоит из двух ключевых модулей: Entropy-based Dynamic Patcher (EDP), который применяет информационно-теоретические критерии для определения естественных временных сдвигов и установления границ патчей, и Adaptive Patch Encoder (APE), который использует пулинг и кросс-внимание для захвата внутрипатчевых зависимостей и создания фиксированных латентных представлений. Эти эмбеддинги затем обрабатываются глобальным трансформером для моделирования межпатчевой динамики. Эксперименты на бенчмарках долгосрочного прогнозирования демонстрируют, что EntroPE улучшает как точность, так и эффективность, устанавливая динамический патчинг, управляемый энтропией, как многообещающую новую парадигму для моделирования временных рядов. Код доступен по адресу: https://github.com/Sachithx/EntroPE.

English

Transformer-based models have significantly advanced time series forecasting, with patch-based input strategies offering efficiency and improved long-horizon modeling. Yet, existing approaches rely on temporally-agnostic patch construction, where arbitrary starting positions and fixed lengths fracture temporal coherence by splitting natural transitions across boundaries. This naive segmentation often disrupts short-term dependencies and weakens representation learning. In response, we propose EntroPE (Entropy-Guided Dynamic Patch Encoder), a novel, temporally informed framework that dynamically detects transition points via conditional entropy and dynamically places patch boundaries. This preserves temporal structure while retaining the computational benefits of patching. EntroPE consists of two key modules, namely an Entropy-based Dynamic Patcher (EDP) that applies information-theoretic criteria to locate natural temporal shifts and determine patch boundaries, and an Adaptive Patch Encoder (APE) that employs pooling and cross-attention to capture intra-patch dependencies and produce fixed-size latent representations. These embeddings are then processed by a global transformer to model inter-patch dynamics. Experiments across long-term forecasting benchmarks demonstrate that EntroPE improves both accuracy and efficiency, establishing entropy-guided dynamic patching as a promising new paradigm for time series modeling. Code is available at: https://github.com/Sachithx/EntroPE.