Toto: Trasformatore Ottimizzato per Serie Temporali nell'Osservabilità

Toto: Time Series Optimized Transformer for Observability

July 10, 2024

Autori: Ben Cohen, Emaad Khwaja, Kan Wang, Charles Masson, Elise Ramé, Youssef Doubli, Othmane Abou-Amal

cs.AI

Abstract

Questo rapporto tecnico descrive il Time Series Optimized Transformer for Observability (Toto), un nuovo modello foundation all'avanguardia per la previsione di serie temporali sviluppato da Datadog. Oltre a far progredire lo stato dell'arte su benchmark generalizzati di serie temporali in domini come l'elettricità e il meteo, questo modello è il primo modello foundation per la previsione di serie temporali a scopo generale specificamente ottimizzato per metriche di osservabilità. Toto è stato addestrato su un dataset di mille miliardi di punti dati di serie temporali, il più grande tra tutti i modelli foundation per serie temporali attualmente pubblicati. Oltre ai dataset di serie temporali pubblicamente disponibili, il 75% dei dati utilizzati per addestrare Toto è costituito da punti dati numerici completamente anonimi provenienti dalla piattaforma Datadog. Nei nostri esperimenti, Toto supera i modelli foundation esistenti per serie temporali sui dati di osservabilità. Lo fa mantenendo anche un'eccellente capacità di previsione a scopo generale, raggiungendo prestazioni zero-shot all'avanguardia su più dataset benchmark aperti.

English

This technical report describes the Time Series Optimized Transformer for Observability (Toto), a new state of the art foundation model for time series forecasting developed by Datadog. In addition to advancing the state of the art on generalized time series benchmarks in domains such as electricity and weather, this model is the first general-purpose time series forecasting foundation model to be specifically tuned for observability metrics. Toto was trained on a dataset of one trillion time series data points, the largest among all currently published time series foundation models. Alongside publicly available time series datasets, 75% of the data used to train Toto consists of fully anonymous numerical metric data points from the Datadog platform. In our experiments, Toto outperforms existing time series foundation models on observability data. It does this while also excelling at general-purpose forecasting tasks, achieving state-of-the-art zero-shot performance on multiple open benchmark datasets.