Chimera: Modelagem Eficaz de Séries Temporais Multivariadas com Modelos de Espaço de Estados Bidimensionais

Chimera: Effectively Modeling Multivariate Time Series with 2-Dimensional State Space Models

June 6, 2024

Autores: Ali Behrouz, Michele Santacatterina, Ramin Zabih

cs.AI

Resumo

A modelagem de séries temporais multivariadas é um problema bem estabelecido com uma ampla gama de aplicações, desde a área da saúde até os mercados financeiros. Os Modelos de Espaço de Estados (SSMs) tradicionais são abordagens clássicas para a modelagem de séries temporais univariadas devido à sua simplicidade e poder de representação para capturar dependências lineares. No entanto, eles têm um poder de expressão fundamentalmente limitado para capturar dependências não lineares, são lentos na prática e falham em modelar o fluxo de informação entre variáveis. Apesar das tentativas recentes de melhorar o poder de expressão dos SSMs por meio de SSMs estruturados profundos, os métodos existentes são limitados a séries temporais univariadas, falham em modelar padrões complexos (por exemplo, padrões sazonais), falham em modelar dinamicamente as dependências das dimensões de variáveis e tempo, e/ou são independentes da entrada. Apresentamos o Chimera, que utiliza dois cabeçotes de SSM 2-D dependentes da entrada com diferentes processos de discretização para aprender a progressão de longo prazo e padrões sazonais. Para melhorar a eficiência da recorrência 2D complexa, apresentamos um treinamento rápido usando uma nova varredura seletiva paralela bidimensional. Além disso, apresentamos e discutimos o Mamba bidimensional e o Mamba-2 como casos especiais do nosso SSM 2D. Nossa avaliação experimental mostra o desempenho superior do Chimera em benchmarks extensos e diversos, incluindo classificação de séries temporais de ECG e fala, previsão de séries temporais de longo e curto prazo, e detecção de anomalias em séries temporais.

English

Modeling multivariate time series is a well-established problem with a wide range of applications from healthcare to financial markets. Traditional State Space Models (SSMs) are classical approaches for univariate time series modeling due to their simplicity and expressive power to represent linear dependencies. They, however, have fundamentally limited expressive power to capture non-linear dependencies, are slow in practice, and fail to model the inter-variate information flow. Despite recent attempts to improve the expressive power of SSMs by using deep structured SSMs, the existing methods are either limited to univariate time series, fail to model complex patterns (e.g., seasonal patterns), fail to dynamically model the dependencies of variate and time dimensions, and/or are input-independent. We present Chimera that uses two input-dependent 2-D SSM heads with different discretization processes to learn long-term progression and seasonal patterns. To improve the efficiency of complex 2D recurrence, we present a fast training using a new 2-dimensional parallel selective scan. We further present and discuss 2-dimensional Mamba and Mamba-2 as the spacial cases of our 2D SSM. Our experimental evaluation shows the superior performance of Chimera on extensive and diverse benchmarks, including ECG and speech time series classification, long-term and short-term time series forecasting, and time series anomaly detection.