Toto: 관측 가능성을 위한 시계열 최적화 트랜스포머

Toto: Time Series Optimized Transformer for Observability

July 10, 2024

저자: Ben Cohen, Emaad Khwaja, Kan Wang, Charles Masson, Elise Ramé, Youssef Doubli, Othmane Abou-Amal

cs.AI

초록

이 기술 보고서는 Datadog에서 개발한 시계열 예측을 위한 최신 기술인 Time Series Optimized Transformer for Observability(Toto)를 소개합니다. 이 모델은 전력 및 기상과 같은 다양한 분야에서 일반화된 시계열 벤치마크의 최신 기술을 발전시킨 것뿐만 아니라, 관측 가능성(observability) 메트릭에 특화된 최초의 범용 시계열 예측 기반 모델(foundation model)입니다. Toto는 현재 공개된 모든 시계열 기반 모델 중 가장 큰 규모인 1조 개의 시계열 데이터 포인트로 학습되었습니다. 공개된 시계열 데이터셋 외에도, Toto 학습 데이터의 75%는 Datadog 플랫폼에서 수집된 완전히 익명화된 수치 메트릭 데이터 포인트로 구성됩니다. 실험 결과, Toto는 관측 가능성 데이터에서 기존 시계열 기반 모델들을 능가하는 성능을 보였습니다. 또한 범용 예측 작업에서도 뛰어난 성과를 거두며, 여러 공개 벤치마크 데이터셋에서 최첨단 제로샷(zero-shot) 성능을 달성했습니다.

English

This technical report describes the Time Series Optimized Transformer for Observability (Toto), a new state of the art foundation model for time series forecasting developed by Datadog. In addition to advancing the state of the art on generalized time series benchmarks in domains such as electricity and weather, this model is the first general-purpose time series forecasting foundation model to be specifically tuned for observability metrics. Toto was trained on a dataset of one trillion time series data points, the largest among all currently published time series foundation models. Alongside publicly available time series datasets, 75% of the data used to train Toto consists of fully anonymous numerical metric data points from the Datadog platform. In our experiments, Toto outperforms existing time series foundation models on observability data. It does this while also excelling at general-purpose forecasting tasks, achieving state-of-the-art zero-shot performance on multiple open benchmark datasets.