金融時系列予測のための検索拡張型大規模言語モデル

Retrieval-augmented Large Language Models for Financial Time Series Forecasting

February 9, 2025

著者: Mengxi Xiao, Zihao Jiang, Lingfei Qian, Zhengyu Chen, Yueru He, Yijing Xu, Yuecheng Jiang, Dong Li, Ruey-Ling Weng, Min Peng, Jimin Huang, Sophia Ananiadou, Qianqian Xie

cs.AI

要旨

株価の動きを予測することは、金融時系列予測における基本的なタスクであり、膨大な時系列データから重要な影響要因を特定して取得する必要があります。しかし、既存のテキストトレーニング済みまたは数値類似性ベースの検索方法は、複雑な金融分析を扱うのには適していません。この課題に対処するために、金融時系列予測向けの初の検索拡張生成（RAG）フレームワークを提案します。このフレームワークには、以下の3つの主要な革新が特色として含まれています：バックボーンとしての微調整された10億パラメータの大規模言語モデル（StockLLM）、LLMフィードバックを活用した新しい候補選択方法、およびクエリと歴史的に重要なシーケンスとの類似性を最大化するトレーニング目的。これにより、当社のリトリーバーであるFinSeerは、複雑な金融データにおけるノイズを最小限に抑えながら意味のあるパターンを明らかにすることが可能となります。また、金融指標と歴史的株価を統合した新しいデータセットを構築し、FinSeerをトレーニングして堅牢な評価を確保します。実験結果は、当社のRAGフレームワークが単なるStockLLMやランダム検索よりも優れていることを示し、その効果を強調しています。さらに、FinSeerは既存の検索方法を凌駕し、BIGDATA22において8％の高い精度を達成し、より影響力のあるシーケンスを取得しています。この研究は、金融予測における適合型検索モデルの重要性を強調し、将来の研究のための新しいフレームワークを提供しています。

English

Stock movement prediction, a fundamental task in financial time-series forecasting, requires identifying and retrieving critical influencing factors from vast amounts of time-series data. However, existing text-trained or numeric similarity-based retrieval methods fall short in handling complex financial analysis. To address this, we propose the first retrieval-augmented generation (RAG) framework for financial time-series forecasting, featuring three key innovations: a fine-tuned 1B parameter large language model (StockLLM) as the backbone, a novel candidate selection method leveraging LLM feedback, and a training objective that maximizes similarity between queries and historically significant sequences. This enables our retriever, FinSeer, to uncover meaningful patterns while minimizing noise in complex financial data. We also construct new datasets integrating financial indicators and historical stock prices to train FinSeer and ensure robust evaluation. Experimental results demonstrate that our RAG framework outperforms bare StockLLM and random retrieval, highlighting its effectiveness, while FinSeer surpasses existing retrieval methods, achieving an 8\% higher accuracy on BIGDATA22 and retrieving more impactful sequences. This work underscores the importance of tailored retrieval models in financial forecasting and provides a novel framework for future research.