AdaPTS: Адаптация универсальных моделей для вероятностного прогнозирования многомерных временных рядов

AdaPTS: Adapting Univariate Foundation Models to Probabilistic Multivariate Time Series Forecasting

February 14, 2025

Авторы: Abdelhakim Benechehab, Vasilii Feofanov, Giuseppe Paolo, Albert Thomas, Maurizio Filippone, Balázs Kégl

cs.AI

Аннотация

Предварительно обученные базовые модели (FMs) продемонстрировали выдающуюся производительность в задачах прогнозирования одномерных временных рядов. Однако сохраняется несколько практических проблем, включая управление сложными зависимостями между признаками и оценку неопределенности в прогнозах. Данное исследование направлено на устранение этих критических ограничений путем введения адаптеров — преобразований в пространстве признаков, которые облегчают эффективное использование предварительно обученных одномерных моделей временных рядов для многомерных задач. Адаптеры работают, проецируя многомерные входные данные в подходящее латентное пространство и применяя FM независимо к каждому измерению. Вдохновленные литературой по обучению представлений и частично стохастическим байесовским нейронным сетям, мы представляем набор адаптеров и стратегий оптимизации/вывода. Эксперименты, проведенные как на синтетических, так и на реальных наборах данных, подтверждают эффективность адаптеров, демонстрируя значительное улучшение точности прогнозирования и оценки неопределенности по сравнению с базовыми методами. Наша структура, AdaPTS, позиционирует адаптеры как модульное, масштабируемое и эффективное решение для использования моделей временных рядов в многомерных контекстах, способствуя их более широкому внедрению в реальных приложениях. Мы публикуем код по адресу https://github.com/abenechehab/AdaPTS.

English

Pre-trained foundation models (FMs) have shown exceptional performance in univariate time series forecasting tasks. However, several practical challenges persist, including managing intricate dependencies among features and quantifying uncertainty in predictions. This study aims to tackle these critical limitations by introducing adapters; feature-space transformations that facilitate the effective use of pre-trained univariate time series FMs for multivariate tasks. Adapters operate by projecting multivariate inputs into a suitable latent space and applying the FM independently to each dimension. Inspired by the literature on representation learning and partially stochastic Bayesian neural networks, we present a range of adapters and optimization/inference strategies. Experiments conducted on both synthetic and real-world datasets confirm the efficacy of adapters, demonstrating substantial enhancements in forecasting accuracy and uncertainty quantification compared to baseline methods. Our framework, AdaPTS, positions adapters as a modular, scalable, and effective solution for leveraging time series FMs in multivariate contexts, thereby promoting their wider adoption in real-world applications. We release the code at https://github.com/abenechehab/AdaPTS.