AdaPTS: Aanpassen van univariate foundation models voor probabilistische multivariate tijdreeksvoorspelling

AdaPTS: Adapting Univariate Foundation Models to Probabilistic Multivariate Time Series Forecasting

February 14, 2025

Auteurs: Abdelhakim Benechehab, Vasilii Feofanov, Giuseppe Paolo, Albert Thomas, Maurizio Filippone, Balázs Kégl

cs.AI

Samenvatting

Vooraf getrainde basis modellen (FMs) hebben uitzonderlijke prestaties getoond in univariate tijdreeksvoorspellingstaken. Echter, blijven er verschillende praktische uitdagingen bestaan, waaronder het beheren van complexe afhankelijkheden tussen kenmerken en het kwantificeren van onzekerheid in voorspellingen. Deze studie beoogt deze kritieke beperkingen aan te pakken door adapters te introduceren; transformaties in de kenmerkruimte die het effectieve gebruik van vooraf getrainde univariate tijdreeks FMs voor multivariate taken vergemakkelijken. Adapters werken door multivariate invoer te projecteren in een geschikte latente ruimte en het FM onafhankelijk toe te passen op elke dimensie. Geïnspireerd door de literatuur over representatie leren en gedeeltelijk stochastische Bayesiaanse neurale netwerken, presenteren we een reeks adapters en optimalisatie/inferentiestrategieën. Experimenten uitgevoerd op zowel synthetische als real-world datasets bevestigen de effectiviteit van adapters, waarbij aanzienlijke verbeteringen in voorspellingsnauwkeurigheid en onzekerheidskwantificatie worden gedemonstreerd in vergelijking met baseline methoden. Ons raamwerk, AdaPTS, positioneert adapters als een modulaire, schaalbare en effectieve oplossing voor het benutten van tijdreeks FMs in multivariate contexten, waardoor hun bredere adoptie in real-world toepassingen wordt bevorderd. We hebben de code vrijgegeven op https://github.com/abenechehab/AdaPTS.

English

Pre-trained foundation models (FMs) have shown exceptional performance in univariate time series forecasting tasks. However, several practical challenges persist, including managing intricate dependencies among features and quantifying uncertainty in predictions. This study aims to tackle these critical limitations by introducing adapters; feature-space transformations that facilitate the effective use of pre-trained univariate time series FMs for multivariate tasks. Adapters operate by projecting multivariate inputs into a suitable latent space and applying the FM independently to each dimension. Inspired by the literature on representation learning and partially stochastic Bayesian neural networks, we present a range of adapters and optimization/inference strategies. Experiments conducted on both synthetic and real-world datasets confirm the efficacy of adapters, demonstrating substantial enhancements in forecasting accuracy and uncertainty quantification compared to baseline methods. Our framework, AdaPTS, positions adapters as a modular, scalable, and effective solution for leveraging time series FMs in multivariate contexts, thereby promoting their wider adoption in real-world applications. We release the code at https://github.com/abenechehab/AdaPTS.