Estimation de la transférabilité des modèles de base de séries temporelles via l'apprentissage en contexte

papers.abstract

Les modèles de base pour les séries temporelles (TSFMs) offrent une prévision solide en mode zéro-shot grâce à un pré-entraînement à grande échelle, mais le réglage fin reste crucial pour améliorer les performances dans les domaines où les données publiques sont limitées. Avec l'augmentation du nombre de TSFMs, identifier efficacement le meilleur modèle pour un réglage fin en aval devient de plus en plus complexe. Dans ce travail, nous présentons TimeTic, un cadre d'estimation de la transférabilité qui reformule la sélection de modèle comme un problème d'apprentissage en contexte : à partir d'observations sur des ensembles de données connus (source), il prédit comment un TSFM performera après un réglage fin sur un ensemble de données cible. TimeTic organise de manière flexible les relations observées entre les modèles et les données comme information contextuelle, lui permettant de s'adapter de manière transparente à divers scénarios de test. En exploitant la structure tabulaire naturelle formée par les méta-caractéristiques des ensembles de données, les caractéristiques des modèles et les performances après réglage fin, nous utilisons des modèles de base tabulaires comme apprenants en contexte. Nous introduisons également une nouvelle caractérisation des modèles basée sur l'évolution de l'entropie à travers les couches du modèle, capturant les distinctions dans l'espace d'embedding et permettant à TimeTic de généraliser à des ensembles de modèles arbitraires. Nous établissons un benchmark complet pour l'estimation de la transférabilité incluant 10 ensembles de données, 10 modèles de base et 3 tâches de prévision. Sur ce benchmark, l'estimation de TimeTic montre une forte corrélation avec les performances réelles après réglage fin pour des ensembles de données jamais vus auparavant, atteignant une corrélation de rang moyenne d'environ 0,6 et une amélioration de 30 % par rapport à l'utilisation des performances en mode zéro-shot comme score de transférabilité.

English

Time series foundation models (TSFMs) offer strong zero-shot forecasting via large-scale pre-training, yet fine-tuning remains critical for boosting performance in domains with limited public data. With the growing number of TSFMs, efficiently identifying the best model for downstream fine-tuning becomes increasingly challenging. In this work, we introduce TimeTic, a transferability estimation framework that recasts model selection as an in-context-learning problem: given observations on known (source) datasets, it predicts how a TSFM will perform after fine-tuning on a downstream (target) dataset. TimeTic flexibly organizes the observed model-data relationships as contextual information, allowing it to adapt seamlessly to various test-time scenarios. Leveraging the natural tabular structure formed by dataset meta-features, model characteristics, and fine-tuned performance, we employ tabular foundation models to serve as in-context learners. We further introduce a novel model characterization based on entropy evolution across model layers, capturing embedding-space distinctions and enabling TimeTic to generalize across arbitrary model sets. We establish a comprehensive benchmark for transferability estimation including 10 datasets, 10 foundation models, and 3 forecasting tasks. On this benchmark, TimeTic's estimation demonstrates strong alignment with actual fine-tuned performance for previously unseen datasets, achieving a mean rank correlation of approximately 0.6 and a 30% improvement compared to using zero-shot performance as the transferability score.

Estimation de la transférabilité des modèles de base de séries temporelles via l'apprentissage en contexte

Estimating Time Series Foundation Model Transferability via In-Context Learning

papers.abstract

Support