Toto: Transformador Optimizado para Series Temporales para Observabilidad

Toto: Time Series Optimized Transformer for Observability

July 10, 2024

Autores: Ben Cohen, Emaad Khwaja, Kan Wang, Charles Masson, Elise Ramé, Youssef Doubli, Othmane Abou-Amal

cs.AI

Resumen

Este informe técnico describe el Transformador Optimizado para Series Temporales para Observabilidad (Toto), un nuevo modelo base de vanguardia para la predicción de series temporales desarrollado por Datadog. Además de avanzar en el estado del arte en benchmarks de series temporales generalizadas en dominios como la electricidad y el clima, este modelo es el primer modelo base de predicción de series temporales de propósito general específicamente ajustado para métricas de observabilidad. Toto fue entrenado en un conjunto de datos de un billón de puntos de datos de series temporales, el más grande entre todos los modelos base de series temporales actualmente publicados. Junto con conjuntos de datos de series temporales disponibles públicamente, el 75% de los datos utilizados para entrenar a Toto consisten en puntos de datos numéricos completamente anónimos de la plataforma Datadog. En nuestros experimentos, Toto supera a los modelos base de series temporales existentes en datos de observabilidad. Lo hace mientras también destaca en tareas de predicción de propósito general, logrando un rendimiento de vanguardia en cero-shot en múltiples conjuntos de datos de referencia abiertos.

English

This technical report describes the Time Series Optimized Transformer for Observability (Toto), a new state of the art foundation model for time series forecasting developed by Datadog. In addition to advancing the state of the art on generalized time series benchmarks in domains such as electricity and weather, this model is the first general-purpose time series forecasting foundation model to be specifically tuned for observability metrics. Toto was trained on a dataset of one trillion time series data points, the largest among all currently published time series foundation models. Alongside publicly available time series datasets, 75% of the data used to train Toto consists of fully anonymous numerical metric data points from the Datadog platform. In our experiments, Toto outperforms existing time series foundation models on observability data. It does this while also excelling at general-purpose forecasting tasks, achieving state-of-the-art zero-shot performance on multiple open benchmark datasets.