Questa Volta è Diverso: Una Prospettiva sull'Osservabilità nei Modelli di Base per Serie Temporali

This Time is Different: An Observability Perspective on Time Series Foundation Models

May 20, 2025

Autori: Ben Cohen, Emaad Khwaja, Youssef Doubli, Salahidine Lemaachi, Chris Lettieri, Charles Masson, Hugo Miccinilli, Elise Ramé, Qiqi Ren, Afshin Rostamizadeh, Jean Ogier du Terrail, Anna-Monica Toon, Kan Wang, Stephan Xie, David Asker, Ameet Talwalkar, Othmane Abou-Amal

cs.AI

Abstract

Presentiamo Toto, un modello di base per la previsione di serie temporali con 151 milioni di parametri. Toto utilizza un'architettura moderna di tipo decoder-only, arricchita da innovazioni architetturali progettate per affrontare le specifiche sfide presenti nei dati di osservabilità multivariata delle serie temporali. Il corpus di pre-addestramento di Toto è una combinazione di dati di osservabilità, dataset aperti e dati sintetici, ed è da 4 a 10 volte più ampio rispetto a quello dei principali modelli di base per le serie temporali. Inoltre, introduciamo BOOM, un benchmark su larga scala composto da 350 milioni di osservazioni su 2.807 serie temporali del mondo reale. Sia per Toto che per BOOM, i dati di osservabilità provengono esclusivamente dalla telemetria e dalle metriche interne di osservabilità di Datadog. Valutazioni estensive dimostrano che Toto raggiunge prestazioni all'avanguardia sia su BOOM che su benchmark consolidati per la previsione di serie temporali a scopo generale. I pesi del modello di Toto, il codice di inferenza e gli script di valutazione, così come i dati e il codice di valutazione di BOOM, sono tutti disponibili come open source sotto la licenza Apache 2.0 ai seguenti indirizzi: https://huggingface.co/Datadog/Toto-Open-Base-1.0 e https://github.com/DataDog/toto.

English

We introduce Toto, a time series forecasting foundation model with 151 million parameters. Toto uses a modern decoder-only architecture coupled with architectural innovations designed to account for specific challenges found in multivariate observability time series data. Toto's pre-training corpus is a mixture of observability data, open datasets, and synthetic data, and is 4-10times larger than those of leading time series foundation models. Additionally, we introduce BOOM, a large-scale benchmark consisting of 350 million observations across 2,807 real-world time series. For both Toto and BOOM, we source observability data exclusively from Datadog's own telemetry and internal observability metrics. Extensive evaluations demonstrate that Toto achieves state-of-the-art performance on both BOOM and on established general purpose time series forecasting benchmarks. Toto's model weights, inference code, and evaluation scripts, as well as BOOM's data and evaluation code, are all available as open source under the Apache 2.0 License available at https://huggingface.co/Datadog/Toto-Open-Base-1.0 and https://github.com/DataDog/toto.