Toto: Transformador Otimizado para Séries Temporais para Observabilidade

Toto: Time Series Optimized Transformer for Observability

July 10, 2024

Autores: Ben Cohen, Emaad Khwaja, Kan Wang, Charles Masson, Elise Ramé, Youssef Doubli, Othmane Abou-Amal

cs.AI

Resumo

Este relatório técnico descreve o Transformer Otimizado para Séries Temporais para Observabilidade (Toto), um novo modelo de fundação de ponta para previsão de séries temporais desenvolvido pela Datadog. Além de avançar o estado da arte em benchmarks de séries temporais generalizadas em domínios como eletricidade e clima, este modelo é o primeiro modelo de fundação de previsão de séries temporais de propósito geral especificamente ajustado para métricas de observabilidade. Toto foi treinado em um conjunto de dados de um trilhão de pontos de dados de séries temporais, o maior entre todos os modelos de fundação de séries temporais atualmente publicados. Juntamente com conjuntos de dados de séries temporais publicamente disponíveis, 75% dos dados usados para treinar o Toto consistem em pontos de dados numéricos totalmente anônimos da plataforma Datadog. Em nossos experimentos, Toto supera os modelos de fundação de séries temporais existentes em dados de observabilidade. Ele faz isso enquanto também se destaca em tarefas de previsão de propósito geral, alcançando desempenho de ponta em tarefas de zero-shot em múltiplos conjuntos de dados de benchmark abertos.

English

This technical report describes the Time Series Optimized Transformer for Observability (Toto), a new state of the art foundation model for time series forecasting developed by Datadog. In addition to advancing the state of the art on generalized time series benchmarks in domains such as electricity and weather, this model is the first general-purpose time series forecasting foundation model to be specifically tuned for observability metrics. Toto was trained on a dataset of one trillion time series data points, the largest among all currently published time series foundation models. Alongside publicly available time series datasets, 75% of the data used to train Toto consists of fully anonymous numerical metric data points from the Datadog platform. In our experiments, Toto outperforms existing time series foundation models on observability data. It does this while also excelling at general-purpose forecasting tasks, achieving state-of-the-art zero-shot performance on multiple open benchmark datasets.