Este Tempo é Diferente: Uma Perspectiva de Observabilidade sobre Modelos de Fundação para Séries Temporais

This Time is Different: An Observability Perspective on Time Series Foundation Models

May 20, 2025

Autores: Ben Cohen, Emaad Khwaja, Youssef Doubli, Salahidine Lemaachi, Chris Lettieri, Charles Masson, Hugo Miccinilli, Elise Ramé, Qiqi Ren, Afshin Rostamizadeh, Jean Ogier du Terrail, Anna-Monica Toon, Kan Wang, Stephan Xie, David Asker, Ameet Talwalkar, Othmane Abou-Amal

cs.AI

Resumo

Apresentamos o Toto, um modelo base de previsão de séries temporais com 151 milhões de parâmetros. O Toto utiliza uma arquitetura moderna apenas de decodificador, combinada com inovações arquitetônicas projetadas para lidar com desafios específicos encontrados em dados de séries temporais multivariadas de observabilidade. O corpus de pré-treinamento do Toto é uma mistura de dados de observabilidade, conjuntos de dados abertos e dados sintéticos, sendo 4 a 10 vezes maior do que os dos principais modelos base de séries temporais. Além disso, introduzimos o BOOM, um benchmark em larga escala composto por 350 milhões de observações em 2.807 séries temporais do mundo real. Tanto para o Toto quanto para o BOOM, os dados de observabilidade são obtidos exclusivamente da telemetria e métricas internas de observabilidade da própria Datadog. Avaliações extensivas demonstram que o Toto alcança desempenho de ponta tanto no BOOM quanto em benchmarks estabelecidos de previsão de séries temporais de propósito geral. Os pesos do modelo Toto, código de inferência e scripts de avaliação, bem como os dados e código de avaliação do BOOM, estão todos disponíveis como código aberto sob a Licença Apache 2.0 em https://huggingface.co/Datadog/Toto-Open-Base-1.0 e https://github.com/DataDog/toto.

English

We introduce Toto, a time series forecasting foundation model with 151 million parameters. Toto uses a modern decoder-only architecture coupled with architectural innovations designed to account for specific challenges found in multivariate observability time series data. Toto's pre-training corpus is a mixture of observability data, open datasets, and synthetic data, and is 4-10times larger than those of leading time series foundation models. Additionally, we introduce BOOM, a large-scale benchmark consisting of 350 million observations across 2,807 real-world time series. For both Toto and BOOM, we source observability data exclusively from Datadog's own telemetry and internal observability metrics. Extensive evaluations demonstrate that Toto achieves state-of-the-art performance on both BOOM and on established general purpose time series forecasting benchmarks. Toto's model weights, inference code, and evaluation scripts, as well as BOOM's data and evaluation code, are all available as open source under the Apache 2.0 License available at https://huggingface.co/Datadog/Toto-Open-Base-1.0 and https://github.com/DataDog/toto.