Использование моделей компьютерного зрения для анализа временных рядов: обзор

Harnessing Vision Models for Time Series Analysis: A Survey

February 13, 2025

Авторы: Jingchao Ni, Ziming Zhao, ChengAo Shen, Hanghang Tong, Dongjin Song, Wei Cheng, Dongsheng Luo, Haifeng Chen

cs.AI

Аннотация

Анализ временных рядов претерпел вдохновляющее развитие: от традиционных авторегрессионных моделей и моделей глубокого обучения до современных трансформеров и крупных языковых моделей (LLM). Попытки применения моделей компьютерного зрения для анализа временных рядов также предпринимались, но оставались менее заметными для сообщества из-за преобладания исследований в области моделирования последовательностей в этой области. Однако расхождение между непрерывными временными рядами и дискретным пространством токенов LLM, а также трудности в явном моделировании корреляций переменных в многомерных временных рядах сместили внимание исследователей на не менее успешные крупные модели компьютерного зрения (LVM) и модели, объединяющие компьютерное зрение и язык (VLM). Чтобы заполнить пробел в существующей литературе, данный обзор обсуждает преимущества моделей компьютерного зрения перед LLM в анализе временных рядов. Он предоставляет всесторонний и глубокий обзор существующих методов, предлагая двойной взгляд через детальную таксономию, которая отвечает на ключевые исследовательские вопросы, включая то, как кодировать временные ряды в виде изображений и как моделировать визуализированные временные ряды для различных задач. Кроме того, мы рассматриваем проблемы, возникающие на этапах пред- и постобработки в рамках этого подхода, и намечаем будущие направления для дальнейшего продвижения анализа временных рядов с использованием моделей компьютерного зрения.

English

Time series analysis has witnessed the inspiring development from traditional autoregressive models, deep learning models, to recent Transformers and Large Language Models (LLMs). Efforts in leveraging vision models for time series analysis have also been made along the way but are less visible to the community due to the predominant research on sequence modeling in this domain. However, the discrepancy between continuous time series and the discrete token space of LLMs, and the challenges in explicitly modeling the correlations of variates in multivariate time series have shifted some research attentions to the equally successful Large Vision Models (LVMs) and Vision Language Models (VLMs). To fill the blank in the existing literature, this survey discusses the advantages of vision models over LLMs in time series analysis. It provides a comprehensive and in-depth overview of the existing methods, with dual views of detailed taxonomy that answer the key research questions including how to encode time series as images and how to model the imaged time series for various tasks. Additionally, we address the challenges in the pre- and post-processing steps involved in this framework and outline future directions to further advance time series analysis with vision models.