Timer-S1: Um Modelo de Fundação de Séries Temporais em Escala de Bilhões com Escalonamento Serial
Timer-S1: A Billion-Scale Time Series Foundation Model with Serial Scaling
March 5, 2026
Autores: Yong Liu, Xingjian Su, Shiyu Wang, Haoran Zhang, Haixuan Liu, Yuxuan Wang, Zhou Ye, Yang Xiang, Jianmin Wang, Mingsheng Long
cs.AI
Resumo
Apresentamos o Timer-S1, um robusto modelo de base para séries temporais baseado em Mistura de Especialistas (MoE) com 8,3 bilhões de parâmetros totais, 0,75 bilhão de parâmetros ativados por token e um contexto de 11,5 mil tokens. Para superar o gargalo de escalabilidade nos modelos de base pré-treinados existentes para séries temporais, realizamos uma Escalagem Serial em três dimensões: arquitetura do modelo, conjunto de dados e pipeline de treinamento. O Timer-S1 integra blocos esparsos TimeMoE e blocos genéricos TimeSTP para Predição Serial de Tokens (STP), um objetivo de treinamento genérico que adere à natureza serial da previsão. O paradigma proposto introduz computações seriais para melhorar as previsões de longo prazo, evitando ao mesmo tempo a custosa inferência do tipo "rolling" e a acentuada acumulação de erros na predição padrão do próximo token. Buscando um conjunto de dados de treinamento de alta qualidade e não enviesado, compilamos o TimeBench, um corpus com um trilhão de pontos temporais, e aplicamos uma meticulosa augmentação de dados para mitigar o viés preditivo. Além disso, pioneiramente implementamos uma etapa de pós-treinamento, incluindo pré-treinamento contínuo e extensão de contexto longo, para melhorar o desempenho em curto prazo e em contextos longos. Avaliado na extensa leaderboard GIFT-Eval, o Timer-S1 alcança um desempenho de previsão state-of-the-art, obtendo os melhores escores MASE e CRPS como modelo pré-treinado. O Timer-S1 será disponibilizado para facilitar pesquisas futuras.
English
We introduce Timer-S1, a strong Mixture-of-Experts (MoE) time series foundation model with 8.3B total parameters, 0.75B activated parameters for each token, and a context length of 11.5K. To overcome the scalability bottleneck in existing pre-trained time series foundation models, we perform Serial Scaling in three dimensions: model architecture, dataset, and training pipeline. Timer-S1 integrates sparse TimeMoE blocks and generic TimeSTP blocks for Serial-Token Prediction (STP), a generic training objective that adheres to the serial nature of forecasting. The proposed paradigm introduces serial computations to improve long-term predictions while avoiding costly rolling-style inference and pronounced error accumulation in the standard next-token prediction. Pursuing a high-quality and unbiased training dataset, we curate TimeBench, a corpus with one trillion time points, and apply meticulous data augmentation to mitigate predictive bias. We further pioneer a post-training stage, including continued pre-training and long-context extension, to enhance short-term and long-context performance. Evaluated on the large-scale GIFT-Eval leaderboard, Timer-S1 achieves state-of-the-art forecasting performance, attaining the best MASE and CRPS scores as a pre-trained model. Timer-S1 will be released to facilitate further research.