Chimera: Effectief Modelleren van Multivariate Tijdreeksen met 2-Dimensionale Toestandsruimte Modellen

Chimera: Effectively Modeling Multivariate Time Series with 2-Dimensional State Space Models

June 6, 2024

Auteurs: Ali Behrouz, Michele Santacatterina, Ramin Zabih

cs.AI

Samenvatting

Het modelleren van multivariate tijdreeksen is een goed ingeburgerd probleem met een breed scala aan toepassingen, van gezondheidszorg tot financiële markten. Traditionele State Space Models (SSM's) zijn klassieke benaderingen voor het modelleren van univariate tijdreeksen vanwege hun eenvoud en expressieve kracht om lineaire afhankelijkheden weer te geven. Ze hebben echter fundamenteel beperkte expressieve kracht om niet-lineaire afhankelijkheden vast te leggen, zijn in de praktijk traag en slagen er niet in om de informatie-uitwisseling tussen variabelen te modelleren. Ondanks recente pogingen om de expressieve kracht van SSM's te verbeteren door gebruik te maken van diep gestructureerde SSM's, zijn de bestaande methoden ofwel beperkt tot univariate tijdreeksen, slagen ze er niet in om complexe patronen (bijv. seizoenspatronen) te modelleren, slagen ze er niet in om de afhankelijkheden van variabele en tijdsdimensies dynamisch te modelleren, en/of zijn ze invoeronafhankelijk. Wij presenteren Chimera, dat twee invoerafhankelijke 2D-SSM-heads gebruikt met verschillende discretisatieprocessen om langetermijnprogressie en seizoenspatronen te leren. Om de efficiëntie van complexe 2D-recurrentie te verbeteren, presenteren we een snelle training met behulp van een nieuwe 2-dimensionale parallelle selectieve scan. We presenteren en bespreken verder 2-dimensionale Mamba en Mamba-2 als speciale gevallen van onze 2D-SSM. Onze experimentele evaluatie toont de superieure prestaties van Chimera op uitgebreide en diverse benchmarks, waaronder ECG- en spraaktijdreeksclassificatie, langetermijn- en kortetermijntijdreeksvoorspelling, en tijdreeksanomaliedetectie.

English

Modeling multivariate time series is a well-established problem with a wide range of applications from healthcare to financial markets. Traditional State Space Models (SSMs) are classical approaches for univariate time series modeling due to their simplicity and expressive power to represent linear dependencies. They, however, have fundamentally limited expressive power to capture non-linear dependencies, are slow in practice, and fail to model the inter-variate information flow. Despite recent attempts to improve the expressive power of SSMs by using deep structured SSMs, the existing methods are either limited to univariate time series, fail to model complex patterns (e.g., seasonal patterns), fail to dynamically model the dependencies of variate and time dimensions, and/or are input-independent. We present Chimera that uses two input-dependent 2-D SSM heads with different discretization processes to learn long-term progression and seasonal patterns. To improve the efficiency of complex 2D recurrence, we present a fast training using a new 2-dimensional parallel selective scan. We further present and discuss 2-dimensional Mamba and Mamba-2 as the spacial cases of our 2D SSM. Our experimental evaluation shows the superior performance of Chimera on extensive and diverse benchmarks, including ECG and speech time series classification, long-term and short-term time series forecasting, and time series anomaly detection.