LETS-C: 시계열 분류를 위한 언어 임베딩 활용

LETS-C: Leveraging Language Embedding for Time Series Classification

July 9, 2024

저자: Rachneet Kaur, Zhen Zeng, Tucker Balch, Manuela Veloso

cs.AI

초록

최근 언어 모델링의 발전은 시계열 데이터에 적용될 때 유망한 결과를 보여주고 있습니다. 특히, 사전 훈련된 대규모 언어 모델(LLM)을 시계열 분류 작업에 맞춰 미세 조정하는 것은 표준 벤치마크에서 최첨단(SOTA) 성능을 달성했습니다. 그러나 이러한 LLM 기반 모델은 수백만 개의 학습 가능한 매개변수로 인해 모델 크기가 크다는 중요한 단점이 있습니다. 본 논문에서는 시계열 영역에서 언어 모델링의 성공을 활용하는 대안적인 접근 방식을 제안합니다. LLM을 미세 조정하는 대신, 언어 임베딩 모델을 사용하여 시계열을 임베딩한 다음, 이를 합성곱 신경망(CNN)과 다층 퍼셉트론(MLP)으로 구성된 간단한 분류 헤드와 결합합니다. 우리는 잘 정립된 시계열 분류 벤치마크 데이터셋에 대해 광범위한 실험을 수행했습니다. LETS-C는 분류 정확도에서 현재 SOTA를 능가할 뿐만 아니라, SOTA 모델 대비 평균 14.5%의 학습 가능한 매개변수만 사용하는 경량 솔루션을 제공한다는 것을 입증했습니다. 우리의 연구 결과는 언어 인코더를 활용하여 시계열 데이터를 임베딩하고, 간단하지만 효과적인 분류 헤드와 결합하는 것이 경량 모델 아키텍처를 유지하면서도 고성능 시계열 분류를 달성하기 위한 유망한 방향임을 시사합니다.

English

Recent advancements in language modeling have shown promising results when applied to time series data. In particular, fine-tuning pre-trained large language models (LLMs) for time series classification tasks has achieved state-of-the-art (SOTA) performance on standard benchmarks. However, these LLM-based models have a significant drawback due to the large model size, with the number of trainable parameters in the millions. In this paper, we propose an alternative approach to leveraging the success of language modeling in the time series domain. Instead of fine-tuning LLMs, we utilize a language embedding model to embed time series and then pair the embeddings with a simple classification head composed of convolutional neural networks (CNN) and multilayer perceptron (MLP). We conducted extensive experiments on well-established time series classification benchmark datasets. We demonstrated LETS-C not only outperforms the current SOTA in classification accuracy but also offers a lightweight solution, using only 14.5% of the trainable parameters on average compared to the SOTA model. Our findings suggest that leveraging language encoders to embed time series data, combined with a simple yet effective classification head, offers a promising direction for achieving high-performance time series classification while maintaining a lightweight model architecture.