크로노스: 시계열의 언어 학습

초록

우리는 사전 학습된 확률적 시계열 모델을 위한 간단하지만 효과적인 프레임워크인 Chronos를 소개합니다. Chronos는 스케일링과 양자화를 통해 시계열 값을 고정된 어휘 집합으로 토큰화하고, 이러한 토큰화된 시계열 데이터에 대해 교차 엔트로피 손실을 사용하여 기존의 트랜스포머 기반 언어 모델 아키텍처를 학습시킵니다. 우리는 T5 패밀리(2천만에서 7억 1천만 개의 파라미터 범위)를 기반으로 한 Chronos 모델을 공개적으로 이용 가능한 대규모 데이터셋 컬렉션에 대해 사전 학습시켰으며, 일반화 성능을 향상시키기 위해 가우시안 프로세스를 통해 생성한 합성 데이터셋을 보완했습니다. 42개의 데이터셋으로 구성된 포괄적인 벤치마크에서, 기존의 클래식 로컬 모델과 딥러닝 방법을 모두 포함하여, Chronos 모델은 다음과 같은 결과를 보여주었습니다: (a) 학습 코퍼스에 포함된 데이터셋에서 다른 방법들을 크게 능가하며; (b) 새로운 데이터셋에서 특별히 해당 데이터셋에 대해 학습된 방법들에 비해 비슷하거나 때로는 더 우수한 제로샷 성능을 보입니다. 우리의 결과는 Chronos 모델이 다양한 도메인의 시계열 데이터를 활용하여 보지 못한 예측 작업에서의 제로샷 정확도를 향상시킬 수 있음을 보여주며, 사전 학습된 모델이 예측 파이프라인을 크게 단순화할 수 있는 실용적인 도구로 자리 잡을 수 있음을 입증합니다.

English

We introduce Chronos, a simple yet effective framework for pretrained probabilistic time series models. Chronos tokenizes time series values using scaling and quantization into a fixed vocabulary and trains existing transformer-based language model architectures on these tokenized time series via the cross-entropy loss. We pretrained Chronos models based on the T5 family (ranging from 20M to 710M parameters) on a large collection of publicly available datasets, complemented by a synthetic dataset that we generated via Gaussian processes to improve generalization. In a comprehensive benchmark consisting of 42 datasets, and comprising both classical local models and deep learning methods, we show that Chronos models: (a) significantly outperform other methods on datasets that were part of the training corpus; and (b) have comparable and occasionally superior zero-shot performance on new datasets, relative to methods that were trained specifically on them. Our results demonstrate that Chronos models can leverage time series data from diverse domains to improve zero-shot accuracy on unseen forecasting tasks, positioning pretrained models as a viable tool to greatly simplify forecasting pipelines.

크로노스: 시계열의 언어 학습

Chronos: Learning the Language of Time Series

초록

Summary

Support

Support