AdaPTS : Adaptation de modèles de fondation univariés à la prévision probabiliste de séries temporelles multivariées

AdaPTS: Adapting Univariate Foundation Models to Probabilistic Multivariate Time Series Forecasting

February 14, 2025

Auteurs: Abdelhakim Benechehab, Vasilii Feofanov, Giuseppe Paolo, Albert Thomas, Maurizio Filippone, Balázs Kégl

cs.AI

Résumé

Les modèles de base pré-entraînés (FMs) ont démontré des performances exceptionnelles dans les tâches de prévision de séries temporelles univariées. Cependant, plusieurs défis pratiques persistent, notamment la gestion des dépendances complexes entre les caractéristiques et la quantification de l'incertitude dans les prédictions. Cette étude vise à surmonter ces limitations critiques en introduisant des adaptateurs ; des transformations de l'espace des caractéristiques qui facilitent l'utilisation efficace des FMs pré-entraînés pour les séries temporelles univariées dans des tâches multivariées. Les adaptateurs fonctionnent en projetant les entrées multivariées dans un espace latent approprié et en appliquant le FM indépendamment à chaque dimension. Inspirés par la littérature sur l'apprentissage de représentations et les réseaux de neurones bayésiens partiellement stochastiques, nous présentons une gamme d'adaptateurs et de stratégies d'optimisation/d'inférence. Les expériences menées sur des ensembles de données synthétiques et réels confirment l'efficacité des adaptateurs, démontrant des améliorations substantielles dans la précision de la prévision et la quantification de l'incertitude par rapport aux méthodes de référence. Notre cadre, AdaPTS, positionne les adaptateurs comme une solution modulaire, évolutive et efficace pour exploiter les FMs de séries temporelles dans des contextes multivariés, favorisant ainsi leur adoption plus large dans des applications réelles. Nous publions le code à l'adresse https://github.com/abenechehab/AdaPTS.

English

Pre-trained foundation models (FMs) have shown exceptional performance in univariate time series forecasting tasks. However, several practical challenges persist, including managing intricate dependencies among features and quantifying uncertainty in predictions. This study aims to tackle these critical limitations by introducing adapters; feature-space transformations that facilitate the effective use of pre-trained univariate time series FMs for multivariate tasks. Adapters operate by projecting multivariate inputs into a suitable latent space and applying the FM independently to each dimension. Inspired by the literature on representation learning and partially stochastic Bayesian neural networks, we present a range of adapters and optimization/inference strategies. Experiments conducted on both synthetic and real-world datasets confirm the efficacy of adapters, demonstrating substantial enhancements in forecasting accuracy and uncertainty quantification compared to baseline methods. Our framework, AdaPTS, positions adapters as a modular, scalable, and effective solution for leveraging time series FMs in multivariate contexts, thereby promoting their wider adoption in real-world applications. We release the code at https://github.com/abenechehab/AdaPTS.