AdaPTS: Adattamento di Modelli Fondamentali Univariati per la Previsione Probabilistica di Serie Temporali Multivariate

AdaPTS: Adapting Univariate Foundation Models to Probabilistic Multivariate Time Series Forecasting

February 14, 2025

Autori: Abdelhakim Benechehab, Vasilii Feofanov, Giuseppe Paolo, Albert Thomas, Maurizio Filippone, Balázs Kégl

cs.AI

Abstract

I modelli pre-addestrati di base (FMs) hanno dimostrato prestazioni eccezionali nei compiti di previsione di serie temporali univariate. Tuttavia, persistono diverse sfide pratiche, tra cui la gestione di complesse dipendenze tra le caratteristiche e la quantificazione dell'incertezza nelle previsioni. Questo studio mira a affrontare queste limitazioni critiche introducendo adattatori; trasformazioni dello spazio delle caratteristiche che facilitano l'uso efficace di FMs pre-addestrati per serie temporali univariate in compiti multivariati. Gli adattatori operano proiettando gli input multivariati in uno spazio latente appropriato e applicando il FM in modo indipendente a ciascuna dimensione. Ispirati dalla letteratura sull'apprendimento di rappresentazioni e sulle reti neurali bayesiane parzialmente stocastiche, presentiamo una gamma di adattatori e strategie di ottimizzazione/inferenza. Gli esperimenti condotti su dataset sia sintetici che reali confermano l'efficacia degli adattatori, dimostrando sostanziali miglioramenti nella precisione delle previsioni e nella quantificazione dell'incertezza rispetto ai metodi di base. Il nostro framework, AdaPTS, posiziona gli adattatori come una soluzione modulare, scalabile ed efficace per sfruttare i FMs per serie temporali in contesti multivariati, promuovendo così una più ampia adozione nelle applicazioni reali. Rilasciamo il codice all'indirizzo https://github.com/abenechehab/AdaPTS.

English

Pre-trained foundation models (FMs) have shown exceptional performance in univariate time series forecasting tasks. However, several practical challenges persist, including managing intricate dependencies among features and quantifying uncertainty in predictions. This study aims to tackle these critical limitations by introducing adapters; feature-space transformations that facilitate the effective use of pre-trained univariate time series FMs for multivariate tasks. Adapters operate by projecting multivariate inputs into a suitable latent space and applying the FM independently to each dimension. Inspired by the literature on representation learning and partially stochastic Bayesian neural networks, we present a range of adapters and optimization/inference strategies. Experiments conducted on both synthetic and real-world datasets confirm the efficacy of adapters, demonstrating substantial enhancements in forecasting accuracy and uncertainty quantification compared to baseline methods. Our framework, AdaPTS, positions adapters as a modular, scalable, and effective solution for leveraging time series FMs in multivariate contexts, thereby promoting their wider adoption in real-world applications. We release the code at https://github.com/abenechehab/AdaPTS.