キメラ：2次元状態空間モデルによる多変量時系列の効果的なモデリング

Chimera: Effectively Modeling Multivariate Time Series with 2-Dimensional State Space Models

June 6, 2024

著者: Ali Behrouz, Michele Santacatterina, Ramin Zabih

cs.AI

要旨

多変量時系列のモデリングは、医療から金融市場に至るまで幅広い応用を持つ確立された問題です。伝統的な状態空間モデル（SSM）は、そのシンプルさと線形依存性を表現する能力から、単変量時系列モデリングの古典的なアプローチとして知られています。しかし、SSMは非線形依存性を捉える能力が根本的に限られており、実際の運用では遅く、変量間の情報の流れをモデル化することができません。最近では、深層構造化SSMを使用してSSMの表現力を向上させようとする試みがありますが、既存の手法は単変量時系列に限定されているか、複雑なパターン（例えば季節性パターン）をモデル化できないか、変量と時間次元の依存性を動的にモデル化できないか、あるいは入力に依存しないものとなっています。本論文では、異なる離散化プロセスを持つ2つの入力依存型2次元SSMヘッドを使用して、長期的な進行と季節性パターンを学習するChimeraを提案します。複雑な2次元再帰の効率を向上させるために、新しい2次元並列選択的スキャンを使用した高速トレーニングを提案します。さらに、2次元MambaとMamba-2を2D SSMの特殊ケースとして提示し、議論します。実験的評価では、ChimeraがECGや音声時系列分類、長期的および短期的な時系列予測、時系列異常検出など、多様なベンチマークで優れた性能を示すことを確認しました。

English

Modeling multivariate time series is a well-established problem with a wide range of applications from healthcare to financial markets. Traditional State Space Models (SSMs) are classical approaches for univariate time series modeling due to their simplicity and expressive power to represent linear dependencies. They, however, have fundamentally limited expressive power to capture non-linear dependencies, are slow in practice, and fail to model the inter-variate information flow. Despite recent attempts to improve the expressive power of SSMs by using deep structured SSMs, the existing methods are either limited to univariate time series, fail to model complex patterns (e.g., seasonal patterns), fail to dynamically model the dependencies of variate and time dimensions, and/or are input-independent. We present Chimera that uses two input-dependent 2-D SSM heads with different discretization processes to learn long-term progression and seasonal patterns. To improve the efficiency of complex 2D recurrence, we present a fast training using a new 2-dimensional parallel selective scan. We further present and discuss 2-dimensional Mamba and Mamba-2 as the spacial cases of our 2D SSM. Our experimental evaluation shows the superior performance of Chimera on extensive and diverse benchmarks, including ECG and speech time series classification, long-term and short-term time series forecasting, and time series anomaly detection.