Timer-S1: シリアルスケーリングによる10億規模時系列基盤モデル
Timer-S1: A Billion-Scale Time Series Foundation Model with Serial Scaling
March 5, 2026
著者: Yong Liu, Xingjian Su, Shiyu Wang, Haoran Zhang, Haixuan Liu, Yuxuan Wang, Zhou Ye, Yang Xiang, Jianmin Wang, Mingsheng Long
cs.AI
要旨
本論文では、合計83億パラメータ、トークンあたり7.5億の活性化パラメータ、11.5Kのコンテキスト長を有する強力なMixture-of-Experts（MoE）時系列基盤モデルであるTimer-S1を提案する。既存の事前学習済み時系列基盤モデルのスケーラビリティのボトルネックを克服するため、モデルアーキテクチャ、データセット、トレーニングパイプラインの3次元においてSerial Scalingを実施する。Timer-S1は、予測の連続的な性質に則った汎用的な学習目標であるSerial-Token Prediction（STP）のために、スパースなTimeMoEブロックと汎用的なTimeSTPブロックを統合している。提案するパラダイムは、連続的な計算を導入して長期予測を改善するとともに、標準的な次トークン予測におけるコストの高いローリング型推論と顕著な誤差蓄積を回避する。高品質で偏りのない学習データセットを追求し、1兆の時点を含むコーパスTimeBenchを構築し、予測バイアスを軽減するために細心のデータ拡張を適用した。さらに、短期および長文脈の性能を向上させるため、継続事前学習や長文脈拡張を含むポストトレーニング段階を開拓する。大規模なGIFT-Evalリーダーボードによる評価では、Timer-S1は事前学習済みモデルとして最高のMASEおよびCRPSスコアを達成し、最先端の予測性能を実現した。Timer-S1は、今後の研究の発展のために公開される予定である。
English
We introduce Timer-S1, a strong Mixture-of-Experts (MoE) time series foundation model with 8.3B total parameters, 0.75B activated parameters for each token, and a context length of 11.5K. To overcome the scalability bottleneck in existing pre-trained time series foundation models, we perform Serial Scaling in three dimensions: model architecture, dataset, and training pipeline. Timer-S1 integrates sparse TimeMoE blocks and generic TimeSTP blocks for Serial-Token Prediction (STP), a generic training objective that adheres to the serial nature of forecasting. The proposed paradigm introduces serial computations to improve long-term predictions while avoiding costly rolling-style inference and pronounced error accumulation in the standard next-token prediction. Pursuing a high-quality and unbiased training dataset, we curate TimeBench, a corpus with one trillion time points, and apply meticulous data augmentation to mitigate predictive bias. We further pioneer a post-training stage, including continued pre-training and long-context extension, to enhance short-term and long-context performance. Evaluated on the large-scale GIFT-Eval leaderboard, Timer-S1 achieves state-of-the-art forecasting performance, attaining the best MASE and CRPS scores as a pre-trained model. Timer-S1 will be released to facilitate further research.