키메라: 2차원 상태 공간 모델을 활용한 다변량 시계열 효과적 모델링

Chimera: Effectively Modeling Multivariate Time Series with 2-Dimensional State Space Models

June 6, 2024

저자: Ali Behrouz, Michele Santacatterina, Ramin Zabih

cs.AI

초록

다변량 시계열 모델링은 헬스케어부터 금융 시장에 이르기까지 다양한 응용 분야를 가진 잘 정립된 문제입니다. 전통적인 상태 공간 모델(SSM)은 단변량 시계열 모델링을 위한 고전적인 접근법으로, 선형 의존성을 표현하는 데 있어 단순성과 표현력으로 인해 널리 사용되어 왔습니다. 그러나 이러한 모델들은 비선형 의존성을 포착하는 데 근본적으로 제한된 표현력을 가지고 있으며, 실제로는 느리고, 변수 간 정보 흐름을 모델링하지 못하는 한계가 있습니다. 최근 깊은 구조의 SSM을 사용하여 SSM의 표현력을 개선하려는 시도가 있었음에도 불구하고, 기존 방법들은 단변량 시계열에 국한되거나, 복잡한 패턴(예: 계절적 패턴)을 모델링하지 못하거나, 변수와 시간 차원의 의존성을 동적으로 모델링하지 못하거나, 입력 독립적인 한계를 가지고 있습니다. 우리는 장기 진행과 계절적 패턴을 학습하기 위해 서로 다른 이산화 과정을 가진 두 개의 입력 의존적 2차원 SSM 헤드를 사용하는 Chimera를 제안합니다. 복잡한 2차원 재귀의 효율성을 개선하기 위해, 새로운 2차원 병렬 선택적 스캔을 사용한 빠른 학습 방법을 제시합니다. 또한, 우리는 2차원 SSM의 특수한 경우로서 2차원 Mamba와 Mamba-2를 제시하고 논의합니다. 우리의 실험적 평가는 Chimera가 ECG 및 음성 시계열 분류, 장기 및 단기 시계열 예측, 시계열 이상 탐지를 포함한 광범위하고 다양한 벤치마크에서 우수한 성능을 보임을 입증합니다.

English

Modeling multivariate time series is a well-established problem with a wide range of applications from healthcare to financial markets. Traditional State Space Models (SSMs) are classical approaches for univariate time series modeling due to their simplicity and expressive power to represent linear dependencies. They, however, have fundamentally limited expressive power to capture non-linear dependencies, are slow in practice, and fail to model the inter-variate information flow. Despite recent attempts to improve the expressive power of SSMs by using deep structured SSMs, the existing methods are either limited to univariate time series, fail to model complex patterns (e.g., seasonal patterns), fail to dynamically model the dependencies of variate and time dimensions, and/or are input-independent. We present Chimera that uses two input-dependent 2-D SSM heads with different discretization processes to learn long-term progression and seasonal patterns. To improve the efficiency of complex 2D recurrence, we present a fast training using a new 2-dimensional parallel selective scan. We further present and discuss 2-dimensional Mamba and Mamba-2 as the spacial cases of our 2D SSM. Our experimental evaluation shows the superior performance of Chimera on extensive and diverse benchmarks, including ECG and speech time series classification, long-term and short-term time series forecasting, and time series anomaly detection.