Chimera: Modelado Efectivo de Series Temporales Multivariadas con Modelos de Espacio de Estados Bidimensionales

Chimera: Effectively Modeling Multivariate Time Series with 2-Dimensional State Space Models

June 6, 2024

Autores: Ali Behrouz, Michele Santacatterina, Ramin Zabih

cs.AI

Resumen

El modelado de series temporales multivariadas es un problema bien establecido con una amplia gama de aplicaciones, desde la atención médica hasta los mercados financieros. Los Modelos de Espacio de Estados (SSM, por sus siglas en inglés) tradicionales son enfoques clásicos para el modelado de series temporales univariadas debido a su simplicidad y poder expresivo para representar dependencias lineales. Sin embargo, tienen un poder expresivo fundamentalmente limitado para capturar dependencias no lineales, son lentos en la práctica y no logran modelar el flujo de información entre variables. A pesar de los recientes intentos de mejorar el poder expresivo de los SSM mediante el uso de SSM estructurados profundos, los métodos existentes están limitados a series temporales univariadas, no logran modelar patrones complejos (por ejemplo, patrones estacionales), no modelan dinámicamente las dependencias de las dimensiones de variable y tiempo, y/o son independientes de la entrada. Presentamos Chimera, que utiliza dos cabezales de SSM 2-D dependientes de la entrada con diferentes procesos de discretización para aprender la progresión a largo plazo y los patrones estacionales. Para mejorar la eficiencia de la recurrencia compleja en 2D, presentamos un entrenamiento rápido utilizando un nuevo escaneo selectivo paralelo en 2 dimensiones. Además, presentamos y discutimos Mamba 2D y Mamba-2 como casos especiales de nuestro SSM 2D. Nuestra evaluación experimental muestra el rendimiento superior de Chimera en una amplia y diversa gama de benchmarks, incluyendo la clasificación de series temporales de ECG y voz, la predicción de series temporales a corto y largo plazo, y la detección de anomalías en series temporales.

English

Modeling multivariate time series is a well-established problem with a wide range of applications from healthcare to financial markets. Traditional State Space Models (SSMs) are classical approaches for univariate time series modeling due to their simplicity and expressive power to represent linear dependencies. They, however, have fundamentally limited expressive power to capture non-linear dependencies, are slow in practice, and fail to model the inter-variate information flow. Despite recent attempts to improve the expressive power of SSMs by using deep structured SSMs, the existing methods are either limited to univariate time series, fail to model complex patterns (e.g., seasonal patterns), fail to dynamically model the dependencies of variate and time dimensions, and/or are input-independent. We present Chimera that uses two input-dependent 2-D SSM heads with different discretization processes to learn long-term progression and seasonal patterns. To improve the efficiency of complex 2D recurrence, we present a fast training using a new 2-dimensional parallel selective scan. We further present and discuss 2-dimensional Mamba and Mamba-2 as the spacial cases of our 2D SSM. Our experimental evaluation shows the superior performance of Chimera on extensive and diverse benchmarks, including ECG and speech time series classification, long-term and short-term time series forecasting, and time series anomaly detection.