Schätzung der Übertragbarkeit von Foundation-Modellen für Zeitreihen durch In-Context-Learning

Estimating Time Series Foundation Model Transferability via In-Context Learning

September 28, 2025

papers.authors: Qingren Yao, Ming Jin, Chengqi Zhang, Chao-Han Huck Yang, Jun Qi, Shirui Pan

cs.AI

papers.abstract

Zeitreihen-Foundation-Modelle (TSFMs) bieten eine starke Zero-Shot-Vorhersage durch groß angelegtes Pre-Training, doch das Fine-Tuning bleibt entscheidend, um die Leistung in Domänen mit begrenzten öffentlichen Daten zu steigern. Mit der zunehmenden Anzahl von TSFMs wird es immer schwieriger, das beste Modell für das nachgelagerte Fine-Tuning effizient zu identifizieren. In dieser Arbeit stellen wir TimeTic vor, ein Framework zur Schätzung der Transferierbarkeit, das die Modellauswahl als ein In-Context-Learning-Problem neu formuliert: Basierend auf Beobachtungen von bekannten (Quell-)Datensätzen sagt es voraus, wie ein TSFM nach dem Fine-Tuning auf einem nachgelagerten (Ziel-)Datensatz abschneiden wird. TimeTic organisiert flexibel die beobachteten Modell-Daten-Beziehungen als kontextuelle Informationen, wodurch es sich nahtlos an verschiedene Testzeit-Szenarien anpassen kann. Indem wir die natürliche tabellarische Struktur nutzen, die sich aus Datensatz-Meta-Features, Modellcharakteristika und der Fine-Tuning-Leistung ergibt, setzen wir tabellarische Foundation-Modelle als In-Context-Learner ein. Wir führen weiterhin eine neuartige Modellcharakterisierung basierend auf der Entropieentwicklung über die Modellschichten ein, die Unterschiede im Embedding-Raum erfasst und es TimeTic ermöglicht, über beliebige Modellsätze hinweg zu generalisieren. Wir etablieren einen umfassenden Benchmark für die Schätzung der Transferierbarkeit, der 10 Datensätze, 10 Foundation-Modelle und 3 Vorhersageaufgaben umfasst. Auf diesem Benchmark zeigt TimeTics Schätzung eine starke Übereinstimmung mit der tatsächlichen Fine-Tuning-Leistung für zuvor unbekannte Datensätze, mit einer mittleren Rangkorrelation von etwa 0,6 und einer 30%igen Verbesserung im Vergleich zur Verwendung der Zero-Shot-Leistung als Transferierbarkeits-Score.

English

Time series foundation models (TSFMs) offer strong zero-shot forecasting via large-scale pre-training, yet fine-tuning remains critical for boosting performance in domains with limited public data. With the growing number of TSFMs, efficiently identifying the best model for downstream fine-tuning becomes increasingly challenging. In this work, we introduce TimeTic, a transferability estimation framework that recasts model selection as an in-context-learning problem: given observations on known (source) datasets, it predicts how a TSFM will perform after fine-tuning on a downstream (target) dataset. TimeTic flexibly organizes the observed model-data relationships as contextual information, allowing it to adapt seamlessly to various test-time scenarios. Leveraging the natural tabular structure formed by dataset meta-features, model characteristics, and fine-tuned performance, we employ tabular foundation models to serve as in-context learners. We further introduce a novel model characterization based on entropy evolution across model layers, capturing embedding-space distinctions and enabling TimeTic to generalize across arbitrary model sets. We establish a comprehensive benchmark for transferability estimation including 10 datasets, 10 foundation models, and 3 forecasting tasks. On this benchmark, TimeTic's estimation demonstrates strong alignment with actual fine-tuned performance for previously unseen datasets, achieving a mean rank correlation of approximately 0.6 and a 30% improvement compared to using zero-shot performance as the transferability score.