AdaPTS: Adaptación de Modelos Fundacionales Univariados para la Predicción Probabilística de Series Temporales Multivariadas

AdaPTS: Adapting Univariate Foundation Models to Probabilistic Multivariate Time Series Forecasting

February 14, 2025

Autores: Abdelhakim Benechehab, Vasilii Feofanov, Giuseppe Paolo, Albert Thomas, Maurizio Filippone, Balázs Kégl

cs.AI

Resumen

Los modelos fundamentales preentrenados (FMs, por sus siglas en inglés) han demostrado un rendimiento excepcional en tareas de pronóstico de series temporales univariadas. Sin embargo, persisten varios desafíos prácticos, como la gestión de dependencias complejas entre características y la cuantificación de la incertidumbre en las predicciones. Este estudio tiene como objetivo abordar estas limitaciones críticas mediante la introducción de adaptadores: transformaciones en el espacio de características que facilitan el uso efectivo de FMs preentrenados para series temporales univariadas en tareas multivariadas. Los adaptadores funcionan proyectando entradas multivariadas en un espacio latente adecuado y aplicando el FM de manera independiente a cada dimensión. Inspirados por la literatura sobre aprendizaje de representaciones y redes neuronales bayesianas parcialmente estocásticas, presentamos una variedad de adaptadores y estrategias de optimización/inferencia. Los experimentos realizados en conjuntos de datos sintéticos y del mundo real confirman la eficacia de los adaptadores, mostrando mejoras sustanciales en la precisión del pronóstico y la cuantificación de la incertidumbre en comparación con métodos de referencia. Nuestro marco, AdaPTS, posiciona a los adaptadores como una solución modular, escalable y efectiva para aprovechar los FMs de series temporales en contextos multivariados, promoviendo así su adopción más amplia en aplicaciones del mundo real. Publicamos el código en https://github.com/abenechehab/AdaPTS.

English

Pre-trained foundation models (FMs) have shown exceptional performance in univariate time series forecasting tasks. However, several practical challenges persist, including managing intricate dependencies among features and quantifying uncertainty in predictions. This study aims to tackle these critical limitations by introducing adapters; feature-space transformations that facilitate the effective use of pre-trained univariate time series FMs for multivariate tasks. Adapters operate by projecting multivariate inputs into a suitable latent space and applying the FM independently to each dimension. Inspired by the literature on representation learning and partially stochastic Bayesian neural networks, we present a range of adapters and optimization/inference strategies. Experiments conducted on both synthetic and real-world datasets confirm the efficacy of adapters, demonstrating substantial enhancements in forecasting accuracy and uncertainty quantification compared to baseline methods. Our framework, AdaPTS, positions adapters as a modular, scalable, and effective solution for leveraging time series FMs in multivariate contexts, thereby promoting their wider adoption in real-world applications. We release the code at https://github.com/abenechehab/AdaPTS.