Het schatten van de overdraagbaarheid van tijdreeks foundation modellen via in-context leren

Estimating Time Series Foundation Model Transferability via In-Context Learning

September 28, 2025

Auteurs: Qingren Yao, Ming Jin, Chengqi Zhang, Chao-Han Huck Yang, Jun Qi, Shirui Pan

cs.AI

Samenvatting

Time series foundation models (TSFMs) bieden sterke zero-shot voorspellingen via grootschalige voorafgaande training, maar fine-tuning blijft cruciaal om de prestaties te verbeteren in domeinen met beperkte openbare data. Met het groeiende aantal TSFMs wordt het efficiënt identificeren van het beste model voor downstream fine-tuning steeds uitdagender. In dit werk introduceren we TimeTic, een raamwerk voor overdraagbaarheidsschatting dat modelselectie herformuleert als een in-context-leerprobleem: gegeven observaties op bekende (bron) datasets, voorspelt het hoe een TSFM zal presteren na fine-tuning op een downstream (doel) dataset. TimeTic organiseert flexibel de waargenomen model-data relaties als contextuele informatie, waardoor het naadloos kan aanpassen aan verschillende testscenario's. Door gebruik te maken van de natuurlijke tabelstructuur gevormd door dataset meta-kenmerken, modelkenmerken en fine-tuning prestaties, zetten we tabel foundation models in als in-context learners. We introduceren verder een nieuwe modelkarakterisering gebaseerd op entropie-evolutie over model lagen, die onderscheidingen in de embedding-ruimte vastlegt en TimeTic in staat stelt te generaliseren over willekeurige modelsets. We stellen een uitgebreide benchmark op voor overdraagbaarheidsschatting, inclusief 10 datasets, 10 foundation models en 3 voorspellingstaken. Op deze benchmark toont TimeTic's schatting een sterke overeenkomst met de daadwerkelijke fine-tuning prestaties voor voorheen onbekende datasets, met een gemiddelde rangcorrelatie van ongeveer 0.6 en een verbetering van 30% vergeleken met het gebruik van zero-shot prestaties als overdraagbaarheidsscore.

English

Time series foundation models (TSFMs) offer strong zero-shot forecasting via large-scale pre-training, yet fine-tuning remains critical for boosting performance in domains with limited public data. With the growing number of TSFMs, efficiently identifying the best model for downstream fine-tuning becomes increasingly challenging. In this work, we introduce TimeTic, a transferability estimation framework that recasts model selection as an in-context-learning problem: given observations on known (source) datasets, it predicts how a TSFM will perform after fine-tuning on a downstream (target) dataset. TimeTic flexibly organizes the observed model-data relationships as contextual information, allowing it to adapt seamlessly to various test-time scenarios. Leveraging the natural tabular structure formed by dataset meta-features, model characteristics, and fine-tuned performance, we employ tabular foundation models to serve as in-context learners. We further introduce a novel model characterization based on entropy evolution across model layers, capturing embedding-space distinctions and enabling TimeTic to generalize across arbitrary model sets. We establish a comprehensive benchmark for transferability estimation including 10 datasets, 10 foundation models, and 3 forecasting tasks. On this benchmark, TimeTic's estimation demonstrates strong alignment with actual fine-tuned performance for previously unseen datasets, achieving a mean rank correlation of approximately 0.6 and a 30% improvement compared to using zero-shot performance as the transferability score.