VisionTS: 시각적 마스크된 오토인코더는 무료 점심 제로샷 시계열 예측기입니다.

VisionTS: Visual Masked Autoencoders Are Free-Lunch Zero-Shot Time Series Forecasters

August 30, 2024

저자: Mouxiang Chen, Lefei Shen, Zhuo Li, Xiaoyun Joy Wang, Jianling Sun, Chenghao Liu

cs.AI

초록

기초 모델은 시계열 예측(TSF)에서 유망한 접근 방식으로 등장했습니다. 기존 접근법은 대규모 언어 모델(LLMs)을 세밀하게 조정하거나 대규모 시계열 데이터셋을 구축하여 TSF 기초 모델을 개발합니다. 그러나 이러한 방법은 심한 교차 도메인 간격 또는 도메인 내 이질성으로 인한 어려움에 직면합니다. 본 논문에서는 이미지와 시계열 간의 본질적 유사성을 기반으로 풍부하고 고품질의 자연 이미지에서 TSF 기초 모델을 구축하는 새로운 방법을 탐구합니다. 두 도메인 간 간극을 좁히기 위해 TSF 작업을 이미지 재구성 작업으로 재정의하고, ImageNet 데이터셋에서 사전 학습된 시각 마스크 자기 지도 오토인코더(MAE)에 의해 추가 처리됩니다. 놀랍게도, 시계열 도메인에서 추가적인 조정 없이 제안된 VisionTS는 기존 TSF 기초 모델보다 우수한 제로샷 예측 성능을 달성할 수 있었습니다. 최소한의 세밀한 조정으로 VisionTS는 예측을 개선하고 대부분의 경우 최첨단 성능을 달성할 수 있었습니다. 이러한 결과는 시각 모델이 TSF에 대한 무료 점심이 될 수 있으며, 컴퓨터 비전과 TSF 간의 미래 교차 도메인 연구의 잠재력을 강조합니다. 저희의 코드는 https://github.com/Keytoyze/VisionTS에서 공개되어 있습니다.

English

Foundation models have emerged as a promising approach in time series forecasting (TSF). Existing approaches either fine-tune large language models (LLMs) or build large-scale time-series datasets to develop TSF foundation models. However, these methods face challenges due to the severe cross-domain gap or in-domain heterogeneity. In this paper, we explore a new road to building a TSF foundation model from rich and high-quality natural images, based on the intrinsic similarities between images and time series. To bridge the gap between the two domains, we reformulate the TSF task as an image reconstruction task, which is further processed by a visual masked autoencoder (MAE) self-supervised pre-trained on the ImageNet dataset. Surprisingly, without further adaptation in the time-series domain, the proposed VisionTS could achieve superior zero-shot forecasting performance compared to existing TSF foundation models. With minimal fine-tuning, VisionTS could further improve the forecasting and achieve state-of-the-art performance in most cases. These findings suggest that visual models could be a free lunch for TSF and highlight the potential for future cross-domain research between computer vision and TSF. Our code is publicly available at https://github.com/Keytoyze/VisionTS.