Retrieval-augmented Large Language Models für die Vorhersage von Finanzzeitreihen

Retrieval-augmented Large Language Models for Financial Time Series Forecasting

February 9, 2025

Autoren: Mengxi Xiao, Zihao Jiang, Lingfei Qian, Zhengyu Chen, Yueru He, Yijing Xu, Yuecheng Jiang, Dong Li, Ruey-Ling Weng, Min Peng, Jimin Huang, Sophia Ananiadou, Qianqian Xie

cs.AI

Zusammenfassung

Die Vorhersage von Aktienbewegungen, eine grundlegende Aufgabe bei der Prognose von Finanzzeitreihen, erfordert die Identifizierung und den Abruf entscheidender Einflussfaktoren aus großen Mengen von Zeitreihendaten. Allerdings sind bestehende auf Text trainierte oder auf numerischer Ähnlichkeit basierende Abrufmethoden nicht ausreichend für die komplexe Finanzanalyse. Um diesem Problem zu begegnen, schlagen wir das erste Abruf-erweiterte Generierungs (RAG) Framework für die Vorhersage von Finanzzeitreihen vor, das drei Schlüsselinnovationen aufweist: ein feinabgestimmtes 1B-Parameter großes Sprachmodell (StockLLM) als Grundlage, eine neuartige Kandidatenauswahlmethode, die auf LLM-Feedback basiert, und ein Schulungsziel, das die Ähnlichkeit zwischen Abfragen und historisch bedeutsamen Sequenzen maximiert. Dies ermöglicht unserem Abrufsystem, FinSeer, sinnvolle Muster aufzudecken und gleichzeitig Störungen in komplexen Finanzdaten zu minimieren. Wir erstellen auch neue Datensätze, die Finanzindikatoren und historische Aktienkurse integrieren, um FinSeer zu schulen und eine robuste Bewertung sicherzustellen. Experimentelle Ergebnisse zeigen, dass unser RAG-Framework besser abschneidet als das bloße StockLLM und zufällige Abrufmethoden, was seine Wirksamkeit unterstreicht, während FinSeer bestehende Abrufmethoden übertrifft, eine 8\% höhere Genauigkeit bei BIGDATA22 erzielt und bedeutsamere Sequenzen abruft. Diese Arbeit betont die Bedeutung maßgeschneiderter Abrufmodelle bei der Finanzprognose und bietet ein neuartiges Framework für zukünftige Forschung.

English

Stock movement prediction, a fundamental task in financial time-series forecasting, requires identifying and retrieving critical influencing factors from vast amounts of time-series data. However, existing text-trained or numeric similarity-based retrieval methods fall short in handling complex financial analysis. To address this, we propose the first retrieval-augmented generation (RAG) framework for financial time-series forecasting, featuring three key innovations: a fine-tuned 1B parameter large language model (StockLLM) as the backbone, a novel candidate selection method leveraging LLM feedback, and a training objective that maximizes similarity between queries and historically significant sequences. This enables our retriever, FinSeer, to uncover meaningful patterns while minimizing noise in complex financial data. We also construct new datasets integrating financial indicators and historical stock prices to train FinSeer and ensure robust evaluation. Experimental results demonstrate that our RAG framework outperforms bare StockLLM and random retrieval, highlighting its effectiveness, while FinSeer surpasses existing retrieval methods, achieving an 8\% higher accuracy on BIGDATA22 and retrieving more impactful sequences. This work underscores the importance of tailored retrieval models in financial forecasting and provides a novel framework for future research.