Toto: Tijdreeksgeoptimaliseerde Transformer voor Observabiliteit

Toto: Time Series Optimized Transformer for Observability

July 10, 2024

Auteurs: Ben Cohen, Emaad Khwaja, Kan Wang, Charles Masson, Elise Ramé, Youssef Doubli, Othmane Abou-Amal

cs.AI

Samenvatting

Dit technische rapport beschrijft de Time Series Optimized Transformer for Observability (Toto), een nieuw state-of-the-art foundation model voor tijdreeksvoorspelling, ontwikkeld door Datadog. Naast het verbeteren van de state-of-the-art op algemene tijdreeksbenchmarks in domeinen zoals elektriciteit en weer, is dit model het eerste algemene tijdreeksvoorspellingsfoundationmodel dat specifiek is afgestemd op observabilitymetrieken. Toto is getraind op een dataset van één biljoen tijdreeksdatapunten, de grootste onder alle momenteel gepubliceerde tijdreeksfoundationmodellen. Naast openbaar beschikbare tijdreeksdatasets bestaat 75% van de data die gebruikt is om Toto te trainen uit volledig anonieme numerieke metriekdatapunten van het Datadog-platform. In onze experimenten presteert Toto beter dan bestaande tijdreeksfoundationmodellen op observabilitydata. Dit doet het terwijl het ook uitblinkt in algemene voorspellingstaken, waarbij het state-of-the-art zero-shot-prestaties behaalt op meerdere open benchmarkdatasets.

English

This technical report describes the Time Series Optimized Transformer for Observability (Toto), a new state of the art foundation model for time series forecasting developed by Datadog. In addition to advancing the state of the art on generalized time series benchmarks in domains such as electricity and weather, this model is the first general-purpose time series forecasting foundation model to be specifically tuned for observability metrics. Toto was trained on a dataset of one trillion time series data points, the largest among all currently published time series foundation models. Alongside publicly available time series datasets, 75% of the data used to train Toto consists of fully anonymous numerical metric data points from the Datadog platform. In our experiments, Toto outperforms existing time series foundation models on observability data. It does this while also excelling at general-purpose forecasting tasks, achieving state-of-the-art zero-shot performance on multiple open benchmark datasets.