AdaPTS: Adaptando Modelos Fundamentais Univariados para Previsão Probabilística de Séries Temporais Multivariadas

AdaPTS: Adapting Univariate Foundation Models to Probabilistic Multivariate Time Series Forecasting

February 14, 2025

Autores: Abdelhakim Benechehab, Vasilii Feofanov, Giuseppe Paolo, Albert Thomas, Maurizio Filippone, Balázs Kégl

cs.AI

Resumo

Modelos de fundação pré-treinados (FMs) têm demonstrado desempenho excepcional em tarefas de previsão de séries temporais univariadas. No entanto, vários desafios práticos persistem, incluindo o gerenciamento de dependências complexas entre características e a quantificação da incerteza nas previsões. Este estudo visa abordar essas limitações críticas por meio da introdução de adaptadores; transformações no espaço de características que facilitam o uso eficaz de FMs pré-treinados para séries temporais univariadas em tarefas multivariadas. Os adaptadores operam projetando entradas multivariadas em um espaço latente adequado e aplicando o FM independentemente a cada dimensão. Inspirados pela literatura sobre aprendizado de representação e redes neurais bayesianas parcialmente estocásticas, apresentamos uma variedade de adaptadores e estratégias de otimização/inferência. Experimentos conduzidos em conjuntos de dados sintéticos e do mundo real confirmam a eficácia dos adaptadores, demonstrando melhorias substanciais na precisão da previsão e na quantificação da incerteza em comparação com métodos de linha de base. Nosso framework, AdaPTS, posiciona os adaptadores como uma solução modular, escalável e eficaz para aproveitar FMs de séries temporais em contextos multivariados, promovendo assim sua adoção mais ampla em aplicações do mundo real. Disponibilizamos o código em https://github.com/abenechehab/AdaPTS.

English

Pre-trained foundation models (FMs) have shown exceptional performance in univariate time series forecasting tasks. However, several practical challenges persist, including managing intricate dependencies among features and quantifying uncertainty in predictions. This study aims to tackle these critical limitations by introducing adapters; feature-space transformations that facilitate the effective use of pre-trained univariate time series FMs for multivariate tasks. Adapters operate by projecting multivariate inputs into a suitable latent space and applying the FM independently to each dimension. Inspired by the literature on representation learning and partially stochastic Bayesian neural networks, we present a range of adapters and optimization/inference strategies. Experiments conducted on both synthetic and real-world datasets confirm the efficacy of adapters, demonstrating substantial enhancements in forecasting accuracy and uncertainty quantification compared to baseline methods. Our framework, AdaPTS, positions adapters as a modular, scalable, and effective solution for leveraging time series FMs in multivariate contexts, thereby promoting their wider adoption in real-world applications. We release the code at https://github.com/abenechehab/AdaPTS.