Toto: Zeitreihen-optimierter Transformer für Beobachtbarkeit

Toto: Time Series Optimized Transformer for Observability

July 10, 2024

papers.authors: Ben Cohen, Emaad Khwaja, Kan Wang, Charles Masson, Elise Ramé, Youssef Doubli, Othmane Abou-Amal

cs.AI

papers.abstract

Dieser technische Bericht beschreibt den Time Series Optimized Transformer for Observability (Toto), ein neues Spitzenmodell für Zeitreihenprognosen, das von Datadog entwickelt wurde. Neben der Weiterentwicklung des aktuellen Standes der Technik bei allgemeinen Zeitreihen-Benchmarks in Bereichen wie Elektrizität und Wetter ist dieses Modell das erste allgemeine Zeitreihenprognose-Grundlagenmodell, das speziell auf Observabilitätsmetriken abgestimmt ist. Toto wurde auf einem Datensatz von einer Billion Zeitreihendatenpunkten trainiert, der größte unter allen derzeit veröffentlichten Zeitreihen-Grundlagenmodellen. Neben öffentlich verfügbaren Zeitreihendatensätzen besteht 75 % der für das Training von Toto verwendeten Daten aus vollständig anonymen numerischen Metrikdatenpunkten aus der Datadog-Plattform. In unseren Experimenten übertrifft Toto bestehende Zeitreihen-Grundlagenmodelle bei Observabilitätsdaten. Dies gelingt ihm, während er auch bei allgemeinen Prognoseaufgaben herausragt und Spitzenleistungen bei Null-Schuss-Performance auf mehreren offenen Benchmark-Datensätzen erzielt.

English

This technical report describes the Time Series Optimized Transformer for Observability (Toto), a new state of the art foundation model for time series forecasting developed by Datadog. In addition to advancing the state of the art on generalized time series benchmarks in domains such as electricity and weather, this model is the first general-purpose time series forecasting foundation model to be specifically tuned for observability metrics. Toto was trained on a dataset of one trillion time series data points, the largest among all currently published time series foundation models. Alongside publicly available time series datasets, 75% of the data used to train Toto consists of fully anonymous numerical metric data points from the Datadog platform. In our experiments, Toto outperforms existing time series foundation models on observability data. It does this while also excelling at general-purpose forecasting tasks, achieving state-of-the-art zero-shot performance on multiple open benchmark datasets.