Estimando a Transferibilidade de Modelos Fundamentais de Séries Temporais por meio de Aprendizado em Contexto

Estimating Time Series Foundation Model Transferability via In-Context Learning

September 28, 2025

Autores: Qingren Yao, Ming Jin, Chengqi Zhang, Chao-Han Huck Yang, Jun Qi, Shirui Pan

cs.AI

Resumo

Modelos de base para séries temporais (TSFMs, na sigla em inglês) oferecem previsões robustas em cenários de zero-shot por meio de pré-treinamento em larga escala, mas o ajuste fino continua sendo crucial para impulsionar o desempenho em domínios com dados públicos limitados. Com o crescente número de TSFMs, identificar de forma eficiente o melhor modelo para ajuste fino em tarefas subsequentes torna-se cada vez mais desafiador. Neste trabalho, apresentamos o TimeTic, uma estrutura de estimativa de transferibilidade que reformula a seleção de modelos como um problema de aprendizado em contexto: dadas observações em conjuntos de dados conhecidos (fonte), ele prevê como um TSFM terá desempenho após o ajuste fino em um conjunto de dados subsequente (alvo). O TimeTic organiza de forma flexível as relações observadas entre modelo e dados como informações contextuais, permitindo que ele se adapte de maneira contínua a diversos cenários de teste. Aproveitando a estrutura tabular natural formada por meta-características dos conjuntos de dados, características dos modelos e desempenho após ajuste fino, empregamos modelos de base tabulares para atuar como aprendizes em contexto. Além disso, introduzimos uma nova caracterização de modelos baseada na evolução da entropia entre as camadas do modelo, capturando distinções no espaço de incorporação e permitindo que o TimeTic generalize para conjuntos de modelos arbitrários. Estabelecemos um benchmark abrangente para estimativa de transferibilidade, incluindo 10 conjuntos de dados, 10 modelos de base e 3 tarefas de previsão. Neste benchmark, a estimativa do TimeTic demonstra uma forte correlação com o desempenho real após ajuste fino para conjuntos de dados nunca vistos anteriormente, alcançando uma correlação de postos média de aproximadamente 0,6 e uma melhoria de 30% em comparação com o uso do desempenho zero-shot como pontuação de transferibilidade.

English

Time series foundation models (TSFMs) offer strong zero-shot forecasting via large-scale pre-training, yet fine-tuning remains critical for boosting performance in domains with limited public data. With the growing number of TSFMs, efficiently identifying the best model for downstream fine-tuning becomes increasingly challenging. In this work, we introduce TimeTic, a transferability estimation framework that recasts model selection as an in-context-learning problem: given observations on known (source) datasets, it predicts how a TSFM will perform after fine-tuning on a downstream (target) dataset. TimeTic flexibly organizes the observed model-data relationships as contextual information, allowing it to adapt seamlessly to various test-time scenarios. Leveraging the natural tabular structure formed by dataset meta-features, model characteristics, and fine-tuned performance, we employ tabular foundation models to serve as in-context learners. We further introduce a novel model characterization based on entropy evolution across model layers, capturing embedding-space distinctions and enabling TimeTic to generalize across arbitrary model sets. We establish a comprehensive benchmark for transferability estimation including 10 datasets, 10 foundation models, and 3 forecasting tasks. On this benchmark, TimeTic's estimation demonstrates strong alignment with actual fine-tuned performance for previously unseen datasets, achieving a mean rank correlation of approximately 0.6 and a 30% improvement compared to using zero-shot performance as the transferability score.