Estimación de la Transferibilidad de Modelos Fundamentales de Series Temporales mediante Aprendizaje en Contexto

Estimating Time Series Foundation Model Transferability via In-Context Learning

September 28, 2025

Autores: Qingren Yao, Ming Jin, Chengqi Zhang, Chao-Han Huck Yang, Jun Qi, Shirui Pan

cs.AI

Resumen

Los modelos fundamentales de series temporales (TSFMs, por sus siglas en inglés) ofrecen una sólida capacidad de pronóstico sin ajuste previo (zero-shot) mediante entrenamiento a gran escala, aunque el ajuste fino sigue siendo crucial para mejorar el rendimiento en dominios con datos públicos limitados. Con el creciente número de TSFMs, identificar de manera eficiente el mejor modelo para el ajuste fino en tareas posteriores se vuelve cada vez más desafiante. En este trabajo, presentamos TimeTic, un marco de estimación de transferibilidad que reformula la selección de modelos como un problema de aprendizaje en contexto (in-context learning): dado un conjunto de observaciones en conjuntos de datos conocidos (fuente), predice cómo se desempeñará un TSFM después de ajustarse en un conjunto de datos objetivo (target). TimeTic organiza de manera flexible las relaciones observadas entre modelos y datos como información contextual, permitiéndole adaptarse sin problemas a diversos escenarios de prueba. Aprovechando la estructura tabular natural formada por las meta-características de los conjuntos de datos, las características de los modelos y el rendimiento ajustado, empleamos modelos fundamentales tabulares como aprendices en contexto. Además, introducimos una novedosa caracterización de modelos basada en la evolución de la entropía a través de las capas del modelo, capturando distinciones en el espacio de incrustaciones y permitiendo que TimeTic generalice a través de conjuntos de modelos arbitrarios. Establecemos un punto de referencia integral para la estimación de transferibilidad, que incluye 10 conjuntos de datos, 10 modelos fundamentales y 3 tareas de pronóstico. En este punto de referencia, la estimación de TimeTic demuestra una fuerte alineación con el rendimiento real ajustado para conjuntos de datos previamente no vistos, logrando una correlación de rangos media de aproximadamente 0.6 y una mejora del 30% en comparación con el uso del rendimiento sin ajuste previo como puntuación de transferibilidad.

English

Time series foundation models (TSFMs) offer strong zero-shot forecasting via large-scale pre-training, yet fine-tuning remains critical for boosting performance in domains with limited public data. With the growing number of TSFMs, efficiently identifying the best model for downstream fine-tuning becomes increasingly challenging. In this work, we introduce TimeTic, a transferability estimation framework that recasts model selection as an in-context-learning problem: given observations on known (source) datasets, it predicts how a TSFM will perform after fine-tuning on a downstream (target) dataset. TimeTic flexibly organizes the observed model-data relationships as contextual information, allowing it to adapt seamlessly to various test-time scenarios. Leveraging the natural tabular structure formed by dataset meta-features, model characteristics, and fine-tuned performance, we employ tabular foundation models to serve as in-context learners. We further introduce a novel model characterization based on entropy evolution across model layers, capturing embedding-space distinctions and enabling TimeTic to generalize across arbitrary model sets. We establish a comprehensive benchmark for transferability estimation including 10 datasets, 10 foundation models, and 3 forecasting tasks. On this benchmark, TimeTic's estimation demonstrates strong alignment with actual fine-tuned performance for previously unseen datasets, achieving a mean rank correlation of approximately 0.6 and a 30% improvement compared to using zero-shot performance as the transferability score.