Chimäre: Effektive Modellierung multivariater Zeitreihen mit 2-dimensionalen Zustandsraummodellen

Chimera: Effectively Modeling Multivariate Time Series with 2-Dimensional State Space Models

June 6, 2024

Autoren: Ali Behrouz, Michele Santacatterina, Ramin Zabih

cs.AI

Zusammenfassung

Die Modellierung multivariater Zeitreihen ist ein etabliertes Problem mit einer breiten Anwendungspalette von der Gesundheitsversorgung bis zu Finanzmärkten. Traditionelle Zustandsraummodelle (SSMs) sind klassische Ansätze zur Modellierung univariater Zeitreihen aufgrund ihrer Einfachheit und Ausdruckskraft, um lineare Abhängigkeiten darzustellen. Sie haben jedoch grundsätzlich begrenzte Ausdruckskraft, um nichtlineare Abhängigkeiten zu erfassen, sind in der Praxis langsam und versagen dabei, die intervariablen Informationsflüsse zu modellieren. Trotz jüngster Versuche, die Ausdruckskraft von SSMs durch den Einsatz von tiefen strukturierten SSMs zu verbessern, sind die bestehenden Methoden entweder auf univariate Zeitreihen beschränkt, versagen darin, komplexe Muster (z. B. saisonale Muster) zu modellieren, versagen darin, die Abhängigkeiten von Variablen und Zeitdimensionen dynamisch zu modellieren und/oder sind eingabeunabhängig. Wir stellen Chimera vor, das zwei eingabeabhängige 2-D SSM-Köpfe mit unterschiedlichen Diskretisierungsprozessen verwendet, um langfristige Fortschritte und saisonale Muster zu erlernen. Zur Verbesserung der Effizienz komplexer 2D-Rückfälle präsentieren wir ein schnelles Training unter Verwendung eines neuen zweidimensionalen parallelen selektiven Scans. Darüber hinaus stellen wir 2-dimensionale Mamba und Mamba-2 als spezielle Fälle unseres 2D SSM vor und diskutieren sie. Unsere experimentelle Bewertung zeigt die überlegene Leistung von Chimera bei umfangreichen und vielfältigen Benchmarks, einschließlich EKG- und Sprachzeitreihenklassifikation, langfristiger und kurzfristiger Zeitreihenprognosen sowie der Erkennung von Anomalien in Zeitreihen.

English

Modeling multivariate time series is a well-established problem with a wide range of applications from healthcare to financial markets. Traditional State Space Models (SSMs) are classical approaches for univariate time series modeling due to their simplicity and expressive power to represent linear dependencies. They, however, have fundamentally limited expressive power to capture non-linear dependencies, are slow in practice, and fail to model the inter-variate information flow. Despite recent attempts to improve the expressive power of SSMs by using deep structured SSMs, the existing methods are either limited to univariate time series, fail to model complex patterns (e.g., seasonal patterns), fail to dynamically model the dependencies of variate and time dimensions, and/or are input-independent. We present Chimera that uses two input-dependent 2-D SSM heads with different discretization processes to learn long-term progression and seasonal patterns. To improve the efficiency of complex 2D recurrence, we present a fast training using a new 2-dimensional parallel selective scan. We further present and discuss 2-dimensional Mamba and Mamba-2 as the spacial cases of our 2D SSM. Our experimental evaluation shows the superior performance of Chimera on extensive and diverse benchmarks, including ECG and speech time series classification, long-term and short-term time series forecasting, and time series anomaly detection.