Chimera : Modélisation efficace des séries temporelles multivariées avec des modèles d'espace d'états bidimensionnels

Chimera: Effectively Modeling Multivariate Time Series with 2-Dimensional State Space Models

June 6, 2024

Auteurs: Ali Behrouz, Michele Santacatterina, Ramin Zabih

cs.AI

Résumé

La modélisation de séries temporelles multivariées est un problème bien établi avec un large éventail d'applications, allant de la santé aux marchés financiers. Les modèles d'espace d'état (SSM) traditionnels sont des approches classiques pour la modélisation de séries temporelles univariées en raison de leur simplicité et de leur puissance expressive pour représenter les dépendances linéaires. Cependant, ils ont une puissance expressive fondamentalement limitée pour capturer les dépendances non linéaires, sont lents en pratique et ne parviennent pas à modéliser le flux d'information inter-varié. Malgré les récentes tentatives pour améliorer la puissance expressive des SSM en utilisant des SSM structurés profonds, les méthodes existantes sont soit limitées aux séries temporelles univariées, ne parviennent pas à modéliser des motifs complexes (par exemple, les motifs saisonniers), ne parviennent pas à modéliser dynamiquement les dépendances des dimensions variées et temporelles, et/ou sont indépendantes de l'entrée. Nous présentons Chimera, qui utilise deux têtes SSM 2D dépendantes de l'entrée avec des processus de discrétisation différents pour apprendre la progression à long terme et les motifs saisonniers. Pour améliorer l'efficacité de la récurrence 2D complexe, nous présentons un entraînement rapide utilisant un nouveau scan sélectif parallèle en 2 dimensions. Nous présentons et discutons également Mamba 2D et Mamba-2 comme cas particuliers de notre SSM 2D. Notre évaluation expérimentale montre la performance supérieure de Chimera sur des benchmarks étendus et diversifiés, incluant la classification de séries temporelles ECG et vocales, la prévision de séries temporelles à court et long terme, et la détection d'anomalies dans les séries temporelles.

English

Modeling multivariate time series is a well-established problem with a wide range of applications from healthcare to financial markets. Traditional State Space Models (SSMs) are classical approaches for univariate time series modeling due to their simplicity and expressive power to represent linear dependencies. They, however, have fundamentally limited expressive power to capture non-linear dependencies, are slow in practice, and fail to model the inter-variate information flow. Despite recent attempts to improve the expressive power of SSMs by using deep structured SSMs, the existing methods are either limited to univariate time series, fail to model complex patterns (e.g., seasonal patterns), fail to dynamically model the dependencies of variate and time dimensions, and/or are input-independent. We present Chimera that uses two input-dependent 2-D SSM heads with different discretization processes to learn long-term progression and seasonal patterns. To improve the efficiency of complex 2D recurrence, we present a fast training using a new 2-dimensional parallel selective scan. We further present and discuss 2-dimensional Mamba and Mamba-2 as the spacial cases of our 2D SSM. Our experimental evaluation shows the superior performance of Chimera on extensive and diverse benchmarks, including ECG and speech time series classification, long-term and short-term time series forecasting, and time series anomaly detection.