AdaPTS: Anpassung univariater Foundation Models für probabilistische multivariate Zeitreihenvorhersage

AdaPTS: Adapting Univariate Foundation Models to Probabilistic Multivariate Time Series Forecasting

February 14, 2025

Autoren: Abdelhakim Benechehab, Vasilii Feofanov, Giuseppe Paolo, Albert Thomas, Maurizio Filippone, Balázs Kégl

cs.AI

Zusammenfassung

Vortrainierte Basismodelle (Foundation Models, FMs) haben in univariaten Zeitreihenvorhersageaufgaben außergewöhnliche Leistungen gezeigt. Dennoch bestehen mehrere praktische Herausforderungen, darunter die Handhabung komplexer Abhängigkeiten zwischen Merkmalen und die Quantifizierung von Unsicherheiten in Vorhersagen. Diese Studie zielt darauf ab, diese kritischen Einschränkungen zu bewältigen, indem Adapter eingeführt werden; Merkmalsraumtransformationen, die die effektive Nutzung vortrainierter univariater Zeitreihen-FMs für multivariate Aufgaben ermöglichen. Adapter arbeiten, indem sie multivariate Eingaben in einen geeigneten latenten Raum projizieren und das FM unabhängig auf jede Dimension anwenden. Inspiriert von der Literatur zu Repräsentationslernen und teilweise stochastischen Bayes’schen neuronalen Netzen präsentieren wir eine Reihe von Adaptern sowie Optimierungs- und Inferenzstrategien. Experimente, die sowohl auf synthetischen als auch auf realen Datensätzen durchgeführt wurden, bestätigen die Wirksamkeit der Adapter und zeigen erhebliche Verbesserungen in der Vorhersagegenauigkeit und der Unsicherheitsquantifizierung im Vergleich zu Baseline-Methoden. Unser Framework, AdaPTS, positioniert Adapter als eine modulare, skalierbare und effektive Lösung zur Nutzung von Zeitreihen-FMs in multivariaten Kontexten und fördert damit deren breitere Anwendung in realen Anwendungen. Wir veröffentlichen den Code unter https://github.com/abenechehab/AdaPTS.

English

Pre-trained foundation models (FMs) have shown exceptional performance in univariate time series forecasting tasks. However, several practical challenges persist, including managing intricate dependencies among features and quantifying uncertainty in predictions. This study aims to tackle these critical limitations by introducing adapters; feature-space transformations that facilitate the effective use of pre-trained univariate time series FMs for multivariate tasks. Adapters operate by projecting multivariate inputs into a suitable latent space and applying the FM independently to each dimension. Inspired by the literature on representation learning and partially stochastic Bayesian neural networks, we present a range of adapters and optimization/inference strategies. Experiments conducted on both synthetic and real-world datasets confirm the efficacy of adapters, demonstrating substantial enhancements in forecasting accuracy and uncertainty quantification compared to baseline methods. Our framework, AdaPTS, positions adapters as a modular, scalable, and effective solution for leveraging time series FMs in multivariate contexts, thereby promoting their wider adoption in real-world applications. We release the code at https://github.com/abenechehab/AdaPTS.