Toto: Оптимизированный трансформер для временных рядов для обеспечения наблюдаемости

Toto: Time Series Optimized Transformer for Observability

July 10, 2024

Авторы: Ben Cohen, Emaad Khwaja, Kan Wang, Charles Masson, Elise Ramé, Youssef Doubli, Othmane Abou-Amal

cs.AI

Аннотация

Данный технический отчет описывает Time Series Optimized Transformer for Observability (Toto) - новую передовую базовую модель для прогнозирования временных рядов, разработанную компанией Datadog. Помимо улучшения передовых технологий на обобщенных бенчмарках временных рядов в областях, таких как электроэнергетика и погода, данная модель является первой универсальной базовой моделью для прогнозирования временных рядов, специально настроенной на метрики наблюдаемости. Toto был обучен на наборе данных из одного триллиона точек временных рядов, что является самым большим среди всех в настоящее время опубликованных базовых моделей временных рядов. Помимо общедоступных наборов данных временных рядов, 75% данных, использованных для обучения Toto, составляют полностью анонимные числовые метрические данные с платформы Datadog. В наших экспериментах Toto превзошел существующие базовые модели временных рядов по данным наблюдаемости. Он достигает этого, также превосходя в общих задачах прогнозирования, демонстрируя передовую производительность на нескольких открытых бенчмарках с нулевым обучением.

English

This technical report describes the Time Series Optimized Transformer for Observability (Toto), a new state of the art foundation model for time series forecasting developed by Datadog. In addition to advancing the state of the art on generalized time series benchmarks in domains such as electricity and weather, this model is the first general-purpose time series forecasting foundation model to be specifically tuned for observability metrics. Toto was trained on a dataset of one trillion time series data points, the largest among all currently published time series foundation models. Alongside publicly available time series datasets, 75% of the data used to train Toto consists of fully anonymous numerical metric data points from the Datadog platform. In our experiments, Toto outperforms existing time series foundation models on observability data. It does this while also excelling at general-purpose forecasting tasks, achieving state-of-the-art zero-shot performance on multiple open benchmark datasets.