Химера: эффективное моделирование многомерных временных рядов с моделями пространства состояний размерности 2.

Chimera: Effectively Modeling Multivariate Time Series with 2-Dimensional State Space Models

June 6, 2024

Авторы: Ali Behrouz, Michele Santacatterina, Ramin Zabih

cs.AI

Аннотация

Моделирование многомерных временных рядов является хорошо изученной проблемой с широким спектром применений от здравоохранения до финансовых рынков. Традиционные модели пространства состояний (State Space Models, SSM) являются классическими подходами для моделирования одномерных временных рядов благодаря своей простоте и выразительной силе для представления линейных зависимостей. Однако у них фундаментально ограниченная выразительная сила для захвата нелинейных зависимостей, они медленны на практике и не учитывают поток между переменными. Несмотря на недавние попытки улучшить выразительную силу SSM с помощью глубоких структурированных SSM, существующие методы либо ограничены одномерными временными рядами, не могут моделировать сложные паттерны (например, сезонные паттерны), не могут динамически моделировать зависимости между переменными и временными измерениями, и/или не зависят от входных данных. Мы представляем Chimera, который использует две зависимые от входных данных 2D головы SSM с различными процессами дискретизации для изучения долгосрочного прогресса и сезонных паттернов. Для улучшения эффективности сложного 2D повторения мы предлагаем быстрое обучение с использованием нового двумерного параллельного селективного сканирования. Мы также представляем и обсуждаем 2D Mamba и Mamba-2 как пространственные случаи нашего 2D SSM. Наш экспериментальный анализ показывает превосходное качество работы Chimera на обширных и разнообразных бенчмарках, включая классификацию временных рядов ЭКГ и речи, прогнозирование долгосрочных и краткосрочных временных рядов, а также обнаружение аномалий во временных рядах.

English

Modeling multivariate time series is a well-established problem with a wide range of applications from healthcare to financial markets. Traditional State Space Models (SSMs) are classical approaches for univariate time series modeling due to their simplicity and expressive power to represent linear dependencies. They, however, have fundamentally limited expressive power to capture non-linear dependencies, are slow in practice, and fail to model the inter-variate information flow. Despite recent attempts to improve the expressive power of SSMs by using deep structured SSMs, the existing methods are either limited to univariate time series, fail to model complex patterns (e.g., seasonal patterns), fail to dynamically model the dependencies of variate and time dimensions, and/or are input-independent. We present Chimera that uses two input-dependent 2-D SSM heads with different discretization processes to learn long-term progression and seasonal patterns. To improve the efficiency of complex 2D recurrence, we present a fast training using a new 2-dimensional parallel selective scan. We further present and discuss 2-dimensional Mamba and Mamba-2 as the spacial cases of our 2D SSM. Our experimental evaluation shows the superior performance of Chimera on extensive and diverse benchmarks, including ECG and speech time series classification, long-term and short-term time series forecasting, and time series anomaly detection.