Оценка переносимости базовой модели временных рядов с помощью обучения в контексте

Estimating Time Series Foundation Model Transferability via In-Context Learning

September 28, 2025

Авторы: Qingren Yao, Ming Jin, Chengqi Zhang, Chao-Han Huck Yang, Jun Qi, Shirui Pan

cs.AI

Аннотация

Фундаментальные модели временных рядов (TSFMs) обеспечивают мощное прогнозирование с нулевым обучением благодаря масштабному предварительному обучению, однако тонкая настройка остается критически важной для повышения производительности в областях с ограниченными публичными данными. С увеличением числа TSFMs эффективное определение наилучшей модели для последующей тонкой настройки становится все более сложной задачей. В данной работе мы представляем TimeTic — фреймворк для оценки переносимости, который переосмысливает выбор модели как задачу обучения в контексте: на основе наблюдений за известными (исходными) наборами данных он предсказывает, как TSFM будет работать после тонкой настройки на целевом наборе данных. TimeTic гибко организует наблюдаемые отношения между моделями и данными как контекстную информацию, что позволяет ему адаптироваться к различным сценариям тестирования. Используя естественную табличную структуру, образованную мета-признаками наборов данных, характеристиками моделей и производительностью после тонкой настройки, мы применяем табличные фундаментальные модели в качестве обучаемых в контексте. Мы также вводим новую характеристику модели, основанную на эволюции энтропии по слоям модели, что позволяет улавливать различия в пространстве вложений и обеспечивает обобщение TimeTic на произвольные наборы моделей. Мы создаем всеобъемлющий бенчмарк для оценки переносимости, включающий 10 наборов данных, 10 фундаментальных моделей и 3 задачи прогнозирования. На этом бенчмарке оценка TimeTic демонстрирует сильное соответствие фактической производительности после тонкой настройки для ранее невидимых наборов данных, достигая среднего коэффициента ранговой корреляции около 0,6 и улучшения на 30% по сравнению с использованием производительности с нулевым обучением в качестве оценки переносимости.

English

Time series foundation models (TSFMs) offer strong zero-shot forecasting via large-scale pre-training, yet fine-tuning remains critical for boosting performance in domains with limited public data. With the growing number of TSFMs, efficiently identifying the best model for downstream fine-tuning becomes increasingly challenging. In this work, we introduce TimeTic, a transferability estimation framework that recasts model selection as an in-context-learning problem: given observations on known (source) datasets, it predicts how a TSFM will perform after fine-tuning on a downstream (target) dataset. TimeTic flexibly organizes the observed model-data relationships as contextual information, allowing it to adapt seamlessly to various test-time scenarios. Leveraging the natural tabular structure formed by dataset meta-features, model characteristics, and fine-tuned performance, we employ tabular foundation models to serve as in-context learners. We further introduce a novel model characterization based on entropy evolution across model layers, capturing embedding-space distinctions and enabling TimeTic to generalize across arbitrary model sets. We establish a comprehensive benchmark for transferability estimation including 10 datasets, 10 foundation models, and 3 forecasting tasks. On this benchmark, TimeTic's estimation demonstrates strong alignment with actual fine-tuned performance for previously unseen datasets, achieving a mean rank correlation of approximately 0.6 and a 30% improvement compared to using zero-shot performance as the transferability score.