Chimera: Modellazione Efficace di Serie Temporali Multivariate con Modelli Spaziali di Stato Bidimensionali

Chimera: Effectively Modeling Multivariate Time Series with 2-Dimensional State Space Models

June 6, 2024

Autori: Ali Behrouz, Michele Santacatterina, Ramin Zabih

cs.AI

Abstract

La modellazione di serie temporali multivariate è un problema ben consolidato con un'ampia gamma di applicazioni, dalla sanità ai mercati finanziari. I tradizionali Modelli di Spazio di Stato (SSM) sono approcci classici per la modellazione di serie temporali univariate grazie alla loro semplicità e alla capacità espressiva di rappresentare dipendenze lineari. Tuttavia, hanno un potere espressivo fondamentalmente limitato nel catturare dipendenze non lineari, sono lenti nella pratica e non riescono a modellare il flusso di informazioni inter-variabile. Nonostante i recenti tentativi di migliorare il potere espressivo degli SSM utilizzando SSM strutturati profondi, i metodi esistenti sono limitati alle serie temporali univariate, non riescono a modellare pattern complessi (ad esempio, pattern stagionali), non riescono a modellare dinamicamente le dipendenze delle dimensioni variabile e temporale e/o sono indipendenti dall'input. Presentiamo Chimera, che utilizza due teste SSM 2-D dipendenti dall'input con processi di discretizzazione diversi per apprendere la progressione a lungo termine e i pattern stagionali. Per migliorare l'efficienza della complessa ricorrenza 2D, presentiamo un addestramento veloce utilizzando una nuova scansione selettiva parallela 2-dimensionale. Presentiamo e discutiamo ulteriormente Mamba 2-dimensionale e Mamba-2 come casi speciali del nostro SSM 2D. La nostra valutazione sperimentale mostra la performance superiore di Chimera su benchmark estesi e diversificati, inclusa la classificazione di serie temporali ECG e vocali, la previsione di serie temporali a breve e lungo termine e il rilevamento di anomalie nelle serie temporali.

English

Modeling multivariate time series is a well-established problem with a wide range of applications from healthcare to financial markets. Traditional State Space Models (SSMs) are classical approaches for univariate time series modeling due to their simplicity and expressive power to represent linear dependencies. They, however, have fundamentally limited expressive power to capture non-linear dependencies, are slow in practice, and fail to model the inter-variate information flow. Despite recent attempts to improve the expressive power of SSMs by using deep structured SSMs, the existing methods are either limited to univariate time series, fail to model complex patterns (e.g., seasonal patterns), fail to dynamically model the dependencies of variate and time dimensions, and/or are input-independent. We present Chimera that uses two input-dependent 2-D SSM heads with different discretization processes to learn long-term progression and seasonal patterns. To improve the efficiency of complex 2D recurrence, we present a fast training using a new 2-dimensional parallel selective scan. We further present and discuss 2-dimensional Mamba and Mamba-2 as the spacial cases of our 2D SSM. Our experimental evaluation shows the superior performance of Chimera on extensive and diverse benchmarks, including ECG and speech time series classification, long-term and short-term time series forecasting, and time series anomaly detection.