Toto 2.0: Прогнозирование временных рядов вступает в эру масштабирования

Аннотация

Мы показываем, что фундаментальные модели временных рядов масштабируются: единый рецепт обучения обеспечивает надежные улучшения качества прогнозирования от 4M до 2.5B параметров. Мы выпускаем Toto 2.0, семейство из пяти моделей прогнозирования с открытыми весами, обученных по этому рецепту. Семейство Toto 2.0 устанавливает новый передовой уровень на трех эталонах прогнозирования: BOOM, наш эталон наблюдаемости; GIFT-Eval, стандартный эталон общего назначения; и недавний устойчивый к загрязнению эталон TIME. В этом отчете описываются наши экспериментальные результаты и подробно излагаются проектные решения, лежащие в основе Toto 2.0: его архитектура и рецепт обучения, обучающие данные, а также конвейер переноса гиперпараметров u-muP. Все пять базовых контрольных точек выпускаются под лицензией Apache 2.0.

English

We show that time series foundation models scale: a single training recipe produces reliable forecast-quality improvements from 4M to 2.5B parameters. We release Toto 2.0, a family of five open-weights forecasting models trained under this recipe. The Toto 2.0 family sets a new state of the art on three forecasting benchmarks: BOOM, our observability benchmark; GIFT-Eval, the standard general-purpose benchmark; and the recent contamination-resistant TIME benchmark. This report describes our experimental results and details the design decisions behind Toto 2.0: its architecture and training recipe, training data, and the u-muP hyperparameter transfer pipeline. All five base checkpoints are released under Apache 2.0.