LETS-C: Benutten van Taalembeddingen voor Tijdreeksclassificatie

LETS-C: Leveraging Language Embedding for Time Series Classification

July 9, 2024

Auteurs: Rachneet Kaur, Zhen Zeng, Tucker Balch, Manuela Veloso

cs.AI

Samenvatting

Recente ontwikkelingen in taalmodellering hebben veelbelovende resultaten laten zien wanneer ze worden toegepast op tijdreeksgegevens. Met name het finetunen van vooraf getrainde grote taalmodellen (LLM's) voor tijdreeksclassificatietaken heeft state-of-the-art (SOTA) prestaties behaald op standaard benchmarks. Deze LLM-gebaseerde modellen hebben echter een belangrijk nadeel vanwege de grote modelomvang, met het aantal trainbare parameters in de miljoenen. In dit artikel stellen we een alternatieve aanpak voor om het succes van taalmodellering in het domein van tijdreeksen te benutten. In plaats van LLM's te finetunen, gebruiken we een taalembeddingmodel om tijdreeksen in te bedden en koppelen we deze embeddings aan een eenvoudige classificatiekop die bestaat uit convolutionele neurale netwerken (CNN) en een meerlaags perceptron (MLP). We hebben uitgebreide experimenten uitgevoerd op goed gevestigde benchmarkdatasets voor tijdreeksclassificatie. We hebben aangetoond dat LETS-C niet alleen de huidige SOTA overtreft in classificatienauwkeurigheid, maar ook een lichtgewicht oplossing biedt, waarbij gemiddeld slechts 14,5% van de trainbare parameters wordt gebruikt in vergelijking met het SOTA-model. Onze bevindingen suggereren dat het gebruik van taalencoders om tijdreeksgegevens in te bedden, gecombineerd met een eenvoudige maar effectieve classificatiekop, een veelbelovende richting biedt voor het bereiken van hoogwaardige tijdreeksclassificatie terwijl een lichtgewicht modelarchitectuur behouden blijft.

English

Recent advancements in language modeling have shown promising results when applied to time series data. In particular, fine-tuning pre-trained large language models (LLMs) for time series classification tasks has achieved state-of-the-art (SOTA) performance on standard benchmarks. However, these LLM-based models have a significant drawback due to the large model size, with the number of trainable parameters in the millions. In this paper, we propose an alternative approach to leveraging the success of language modeling in the time series domain. Instead of fine-tuning LLMs, we utilize a language embedding model to embed time series and then pair the embeddings with a simple classification head composed of convolutional neural networks (CNN) and multilayer perceptron (MLP). We conducted extensive experiments on well-established time series classification benchmark datasets. We demonstrated LETS-C not only outperforms the current SOTA in classification accuracy but also offers a lightweight solution, using only 14.5% of the trainable parameters on average compared to the SOTA model. Our findings suggest that leveraging language encoders to embed time series data, combined with a simple yet effective classification head, offers a promising direction for achieving high-performance time series classification while maintaining a lightweight model architecture.