Nutzung von Vision-Modellen für die Zeitreihenanalyse: Ein Überblick

Harnessing Vision Models for Time Series Analysis: A Survey

February 13, 2025

Autoren: Jingchao Ni, Ziming Zhao, ChengAo Shen, Hanghang Tong, Dongjin Song, Wei Cheng, Dongsheng Luo, Haifeng Chen

cs.AI

Zusammenfassung

Die Zeitreihenanalyse hat eine inspirierende Entwicklung von traditionellen autoregressiven Modellen über Deep-Learning-Modelle bis hin zu neueren Transformern und Large Language Models (LLMs) erlebt. Parallel dazu wurden auch Bemühungen unternommen, Vision-Modelle für die Zeitreihenanalyse zu nutzen, die jedoch aufgrund des vorherrschenden Forschungsfokus auf Sequenzmodellierung in diesem Bereich weniger sichtbar waren. Die Diskrepanz zwischen kontinuierlichen Zeitreihen und dem diskreten Token-Raum von LLMs sowie die Herausforderungen bei der expliziten Modellierung der Korrelationen von Variablen in multivariaten Zeitreihen haben jedoch die Aufmerksamkeit einiger Forschungsarbeiten auf die ebenso erfolgreichen Large Vision Models (LVMs) und Vision Language Models (VLMs) gelenkt. Um die Lücke in der bestehenden Literatur zu schließen, diskutiert dieser Übersichtsartikel die Vorteile von Vision-Modellen gegenüber LLMs in der Zeitreihenanalyse. Er bietet einen umfassenden und tiefgehenden Überblick über die bestehenden Methoden, mit einer detaillierten Taxonomie, die zentrale Forschungsfragen beantwortet, wie beispielsweise die Kodierung von Zeitreihen als Bilder und die Modellierung der abgebildeten Zeitreihen für verschiedene Aufgaben. Darüber hinaus werden die Herausforderungen in den Vor- und Nachverarbeitungsschritten dieses Frameworks behandelt und zukünftige Richtungen aufgezeigt, um die Zeitreihenanalyse mit Vision-Modellen weiter voranzutreiben.

English

Time series analysis has witnessed the inspiring development from traditional autoregressive models, deep learning models, to recent Transformers and Large Language Models (LLMs). Efforts in leveraging vision models for time series analysis have also been made along the way but are less visible to the community due to the predominant research on sequence modeling in this domain. However, the discrepancy between continuous time series and the discrete token space of LLMs, and the challenges in explicitly modeling the correlations of variates in multivariate time series have shifted some research attentions to the equally successful Large Vision Models (LVMs) and Vision Language Models (VLMs). To fill the blank in the existing literature, this survey discusses the advantages of vision models over LLMs in time series analysis. It provides a comprehensive and in-depth overview of the existing methods, with dual views of detailed taxonomy that answer the key research questions including how to encode time series as images and how to model the imaged time series for various tasks. Additionally, we address the challenges in the pre- and post-processing steps involved in this framework and outline future directions to further advance time series analysis with vision models.