今回の違い：時系列ファウンデーションモデルにおける観測可能性の視点

要旨

151百万パラメータを持つ時系列予測基盤モデル「Toto」を紹介します。Totoは最新のデコーダのみのアーキテクチャを採用し、多変量観測時系列データに特有の課題に対応するためのアーキテクチャ上の革新を組み込んでいます。Totoの事前学習コーパスは、観測データ、公開データセット、合成データを混合したもので、主要な時系列基盤モデルの4～10倍の規模を誇ります。さらに、2,807の実世界時系列にわたる350百万の観測値を含む大規模ベンチマーク「BOOM」を導入しました。TotoとBOOMの両方において、観測データはDatadog独自のテレメトリーと内部観測メトリクスのみから収集されています。広範な評価により、TotoはBOOMおよび既存の汎用時系列予測ベンチマークの両方で最先端の性能を達成することが実証されました。Totoのモデル重み、推論コード、評価スクリプト、およびBOOMのデータと評価コードは、Apache 2.0ライセンスの下でオープンソースとして公開されており、https://huggingface.co/Datadog/Toto-Open-Base-1.0 と https://github.com/DataDog/toto から入手可能です。

English

We introduce Toto, a time series forecasting foundation model with 151 million parameters. Toto uses a modern decoder-only architecture coupled with architectural innovations designed to account for specific challenges found in multivariate observability time series data. Toto's pre-training corpus is a mixture of observability data, open datasets, and synthetic data, and is 4-10times larger than those of leading time series foundation models. Additionally, we introduce BOOM, a large-scale benchmark consisting of 350 million observations across 2,807 real-world time series. For both Toto and BOOM, we source observability data exclusively from Datadog's own telemetry and internal observability metrics. Extensive evaluations demonstrate that Toto achieves state-of-the-art performance on both BOOM and on established general purpose time series forecasting benchmarks. Toto's model weights, inference code, and evaluation scripts, as well as BOOM's data and evaluation code, are all available as open source under the Apache 2.0 License available at https://huggingface.co/Datadog/Toto-Open-Base-1.0 and https://github.com/DataDog/toto.

今回の違い：時系列ファウンデーションモデルにおける観測可能性の視点

This Time is Different: An Observability Perspective on Time Series Foundation Models

要旨

Summary

Support

Support