Toto: 時系列最適化Transformerによるオブザーバビリティ

Toto: Time Series Optimized Transformer for Observability

July 10, 2024

著者: Ben Cohen, Emaad Khwaja, Kan Wang, Charles Masson, Elise Ramé, Youssef Doubli, Othmane Abou-Amal

cs.AI

要旨

本技術レポートでは、Datadogが開発した時系列予測のための新たな基盤モデル「Time Series Optimized Transformer for Observability（Toto）」について説明します。このモデルは、電力や気象などの一般的な時系列ベンチマークにおいて最先端の性能を達成するだけでなく、観測可能性メトリクスに特化して調整された初の汎用時系列予測基盤モデルでもあります。 Totoは、1兆の時系列データポイントからなるデータセットで学習されており、これは現在公開されている全ての時系列基盤モデルの中で最大規模です。公開されている時系列データセットに加え、Totoの学習に使用されたデータの75%は、Datadogプラットフォームからの完全に匿名化された数値メトリクスデータポイントで構成されています。 実験において、Totoは観測可能性データにおいて既存の時系列基盤モデルを上回る性能を示しました。さらに、汎用の予測タスクにおいても優れた性能を発揮し、複数のオープンベンチマークデータセットにおいて最先端のゼロショット性能を達成しています。

English

This technical report describes the Time Series Optimized Transformer for Observability (Toto), a new state of the art foundation model for time series forecasting developed by Datadog. In addition to advancing the state of the art on generalized time series benchmarks in domains such as electricity and weather, this model is the first general-purpose time series forecasting foundation model to be specifically tuned for observability metrics. Toto was trained on a dataset of one trillion time series data points, the largest among all currently published time series foundation models. Alongside publicly available time series datasets, 75% of the data used to train Toto consists of fully anonymous numerical metric data points from the Datadog platform. In our experiments, Toto outperforms existing time series foundation models on observability data. It does this while also excelling at general-purpose forecasting tasks, achieving state-of-the-art zero-shot performance on multiple open benchmark datasets.