文脈内学習による時系列基盤モデルの転移可能性の推定

要旨

時系列基盤モデル（TSFM）は大規模な事前学習を通じて強力なゼロショット予測を提供するが、公開データが限られた領域での性能向上にはファインチューニングが依然として重要である。TSFMの数が増えるにつれ、下流タスクのファインチューニングに最適なモデルを効率的に特定することがますます困難になっている。本研究では、モデル選択をインコンテキスト学習問題として再定義する転移可能性推定フレームワーク「TimeTic」を提案する。TimeTicは、既知の（ソース）データセットにおける観測結果を基に、TSFMが下流（ターゲット）データセットでファインチューニングされた後の性能を予測する。TimeTicは、観測されたモデルとデータの関係を柔軟に文脈情報として整理し、さまざまなテストシナリオにシームレスに適応できる。データセットのメタ特徴、モデル特性、およびファインチューニングされた性能によって形成される自然な表形式の構造を活用し、表形式基盤モデルをインコンテキスト学習器として利用する。さらに、モデル層全体のエントロピー変化に基づく新しいモデル特性化を導入し、埋め込み空間の違いを捉え、TimeTicが任意のモデルセットに一般化できるようにする。10のデータセット、10の基盤モデル、および3つの予測タスクを含む転移可能性推定の包括的なベンチマークを確立した。このベンチマークにおいて、TimeTicの推定は、未見のデータセットに対する実際のファインチューニング性能と強く一致し、平均順位相関が約0.6、ゼロショット性能を転移可能性スコアとして使用した場合と比較して30％の改善を示した。

English

Time series foundation models (TSFMs) offer strong zero-shot forecasting via large-scale pre-training, yet fine-tuning remains critical for boosting performance in domains with limited public data. With the growing number of TSFMs, efficiently identifying the best model for downstream fine-tuning becomes increasingly challenging. In this work, we introduce TimeTic, a transferability estimation framework that recasts model selection as an in-context-learning problem: given observations on known (source) datasets, it predicts how a TSFM will perform after fine-tuning on a downstream (target) dataset. TimeTic flexibly organizes the observed model-data relationships as contextual information, allowing it to adapt seamlessly to various test-time scenarios. Leveraging the natural tabular structure formed by dataset meta-features, model characteristics, and fine-tuned performance, we employ tabular foundation models to serve as in-context learners. We further introduce a novel model characterization based on entropy evolution across model layers, capturing embedding-space distinctions and enabling TimeTic to generalize across arbitrary model sets. We establish a comprehensive benchmark for transferability estimation including 10 datasets, 10 foundation models, and 3 forecasting tasks. On this benchmark, TimeTic's estimation demonstrates strong alignment with actual fine-tuned performance for previously unseen datasets, achieving a mean rank correlation of approximately 0.6 and a 30% improvement compared to using zero-shot performance as the transferability score.

文脈内学習による時系列基盤モデルの転移可能性の推定

Estimating Time Series Foundation Model Transferability via In-Context Learning

要旨

Support