Toto : Transformateur Optimisé pour les Séries Temporelles en Observabilité

Toto: Time Series Optimized Transformer for Observability

July 10, 2024

Auteurs: Ben Cohen, Emaad Khwaja, Kan Wang, Charles Masson, Elise Ramé, Youssef Doubli, Othmane Abou-Amal

cs.AI

Résumé

Ce rapport technique présente le Time Series Optimized Transformer for Observability (Toto), un nouveau modèle de base de pointe pour la prévision de séries temporelles développé par Datadog. En plus de repousser les limites de l'état de l'art sur des benchmarks généralisés de séries temporelles dans des domaines tels que l'électricité et la météorologie, ce modèle est le premier modèle de base polyvalent de prévision de séries temporelles spécifiquement optimisé pour les métriques d'observabilité. Toto a été entraîné sur un ensemble de données d'un billion de points de séries temporelles, le plus grand parmi tous les modèles de base de séries temporelles actuellement publiés. En plus des ensembles de données de séries temporelles disponibles publiquement, 75 % des données utilisées pour entraîner Toto proviennent de points de métriques numériques entièrement anonymisés de la plateforme Datadog. Dans nos expériences, Toto surpasse les modèles de base existants pour les séries temporelles sur les données d'observabilité. Il y parvient tout en excellant également dans les tâches de prévision polyvalentes, atteignant des performances de pointe en zero-shot sur plusieurs ensembles de données de référence ouverts.

English

This technical report describes the Time Series Optimized Transformer for Observability (Toto), a new state of the art foundation model for time series forecasting developed by Datadog. In addition to advancing the state of the art on generalized time series benchmarks in domains such as electricity and weather, this model is the first general-purpose time series forecasting foundation model to be specifically tuned for observability metrics. Toto was trained on a dataset of one trillion time series data points, the largest among all currently published time series foundation models. Alongside publicly available time series datasets, 75% of the data used to train Toto consists of fully anonymous numerical metric data points from the Datadog platform. In our experiments, Toto outperforms existing time series foundation models on observability data. It does this while also excelling at general-purpose forecasting tasks, achieving state-of-the-art zero-shot performance on multiple open benchmark datasets.