Valutazione della Trasferibilità dei Modelli Fondamentali per Serie Temporali attraverso l'Apprendimento In-Contesto

Estimating Time Series Foundation Model Transferability via In-Context Learning

September 28, 2025

Autori: Qingren Yao, Ming Jin, Chengqi Zhang, Chao-Han Huck Yang, Jun Qi, Shirui Pan

cs.AI

Abstract

I modelli di base per serie temporali (TSFM) offrono previsioni zero-shot robuste attraverso il pre-training su larga scala, ma il fine-tuning rimane cruciale per migliorare le prestazioni in domini con dati pubblici limitati. Con il crescente numero di TSFM, identificare in modo efficiente il modello migliore per il fine-tuning downstream diventa sempre più complesso. In questo lavoro, introduciamo TimeTic, un framework di stima della trasferibilità che riformula la selezione del modello come un problema di in-context learning: date osservazioni su dataset noti (sorgente), prevede come un TSFM si comporterà dopo il fine-tuning su un dataset downstream (target). TimeTic organizza in modo flessibile le relazioni modello-dati osservate come informazioni contestuali, consentendogli di adattarsi senza soluzione di continuità a vari scenari di test. Sfruttando la struttura tabulare naturale formata da meta-caratteristiche dei dataset, caratteristiche del modello e prestazioni dopo il fine-tuning, utilizziamo modelli di base tabulari come apprenditori in contesto. Introduciamo inoltre una nuova caratterizzazione del modello basata sull'evoluzione dell'entropia attraverso i livelli del modello, catturando le distinzioni nello spazio di embedding e consentendo a TimeTic di generalizzare su insiemi di modelli arbitrari. Stabiliamo un benchmark completo per la stima della trasferibilità, includendo 10 dataset, 10 modelli di base e 3 task di previsione. Su questo benchmark, la stima di TimeTic dimostra una forte corrispondenza con le prestazioni effettive dopo il fine-tuning per dataset mai visti prima, raggiungendo una correlazione di rango media di circa 0,6 e un miglioramento del 30% rispetto all'utilizzo delle prestazioni zero-shot come punteggio di trasferibilità.

English

Time series foundation models (TSFMs) offer strong zero-shot forecasting via large-scale pre-training, yet fine-tuning remains critical for boosting performance in domains with limited public data. With the growing number of TSFMs, efficiently identifying the best model for downstream fine-tuning becomes increasingly challenging. In this work, we introduce TimeTic, a transferability estimation framework that recasts model selection as an in-context-learning problem: given observations on known (source) datasets, it predicts how a TSFM will perform after fine-tuning on a downstream (target) dataset. TimeTic flexibly organizes the observed model-data relationships as contextual information, allowing it to adapt seamlessly to various test-time scenarios. Leveraging the natural tabular structure formed by dataset meta-features, model characteristics, and fine-tuned performance, we employ tabular foundation models to serve as in-context learners. We further introduce a novel model characterization based on entropy evolution across model layers, capturing embedding-space distinctions and enabling TimeTic to generalize across arbitrary model sets. We establish a comprehensive benchmark for transferability estimation including 10 datasets, 10 foundation models, and 3 forecasting tasks. On this benchmark, TimeTic's estimation demonstrates strong alignment with actual fine-tuned performance for previously unseen datasets, achieving a mean rank correlation of approximately 0.6 and a 30% improvement compared to using zero-shot performance as the transferability score.