Timer-S1: Een op een miljard schaal gebaseerd tijdreeksfundamentmodel met seriële schaalvergroting
Timer-S1: A Billion-Scale Time Series Foundation Model with Serial Scaling
March 5, 2026
Auteurs: Yong Liu, Xingjian Su, Shiyu Wang, Haoran Zhang, Haixuan Liu, Yuxuan Wang, Zhou Ye, Yang Xiang, Jianmin Wang, Mingsheng Long
cs.AI
Samenvatting
Wij introduceren Timer-S1, een krachtig Mixture-of-Experts (MoE) tijdreeks-foundationmodel met 8,3 miljard totale parameters, 0,75 miljard geactiveerde parameters per token en een contextlengte van 11,5K. Om de schaalbaarheidsbeperking in bestaande voorgetrainde tijdreeks-foundationmodellen te overwinnen, passen wij *Serial Scaling* toe in drie dimensies: modelarchitectuur, dataset en trainingspijplijn. Timer-S1 integreert sparse TimeMoE-blokken en generieke TimeSTP-blokken voor *Serial-Token Prediction* (STP), een generieke trainingsdoelstelling die aansluit bij het seriële karakter van prognoses. Het voorgestelde paradigma introduceert seriële berekeningen om voorspellingen op lange termijn te verbeteren, terwijl kostelijke *rolling-style inference* en uitgesproken foutaccumulatie in de standaard *next-token prediction* worden vermeden. Strevend naar een hoogwaardige en onbevooroordeelde trainingsdataset, hebben wij TimeBench samengesteld, een corpus met één biljoen tijdspunten, en zorgvuldige data-augmentatie toegepast om voorspellingsbias te mitigeren. Verder introduceren wij een *post-training*-fase, inclusief voortgezette voorpretraining en *long-context extension*, om de prestaties op korte termijn en met lange context te verbeteren. Geëvalueerd op het grootschalige GIFT-Eval leaderboard, bereikt Timer-S1 state-of-the-art prognoseprestaties en behaalt het de beste MASE- en CRPS-scores als voorgetraind model. Timer-S1 zal worden vrijgegeven om verder onderzoek te vergemakkelijken.
English
We introduce Timer-S1, a strong Mixture-of-Experts (MoE) time series foundation model with 8.3B total parameters, 0.75B activated parameters for each token, and a context length of 11.5K. To overcome the scalability bottleneck in existing pre-trained time series foundation models, we perform Serial Scaling in three dimensions: model architecture, dataset, and training pipeline. Timer-S1 integrates sparse TimeMoE blocks and generic TimeSTP blocks for Serial-Token Prediction (STP), a generic training objective that adheres to the serial nature of forecasting. The proposed paradigm introduces serial computations to improve long-term predictions while avoiding costly rolling-style inference and pronounced error accumulation in the standard next-token prediction. Pursuing a high-quality and unbiased training dataset, we curate TimeBench, a corpus with one trillion time points, and apply meticulous data augmentation to mitigate predictive bias. We further pioneer a post-training stage, including continued pre-training and long-context extension, to enhance short-term and long-context performance. Evaluated on the large-scale GIFT-Eval leaderboard, Timer-S1 achieves state-of-the-art forecasting performance, attaining the best MASE and CRPS scores as a pre-trained model. Timer-S1 will be released to facilitate further research.