Улучшенные модели больших языков с поиском для прогнозирования финансовых временных рядов

Retrieval-augmented Large Language Models for Financial Time Series Forecasting

February 9, 2025

Авторы: Mengxi Xiao, Zihao Jiang, Lingfei Qian, Zhengyu Chen, Yueru He, Yijing Xu, Yuecheng Jiang, Dong Li, Ruey-Ling Weng, Min Peng, Jimin Huang, Sophia Ananiadou, Qianqian Xie

cs.AI

Аннотация

Прогнозирование движения акций, основная задача в прогнозировании финансовых временных рядов, требует идентификации и извлечения критически важных влияющих факторов из огромного объема временных рядов. Однако существующие методы поиска, основанные на тексте или числовом сходстве, не справляются с анализом сложных финансовых данных. Для решения этой проблемы мы предлагаем первую рамочную модель с увеличением поиска (RAG) для прогнозирования финансовых временных рядов, включающую три ключевых инновации: тонко настроенную модель языка с 1 миллиардом параметров (StockLLM) в качестве основы, новый метод выбора кандидатов, использующий обратную связь LLM, и целевую функцию обучения, максимизирующую сходство между запросами и исторически значимыми последовательностями. Это позволяет нашему поисковику, FinSeer, выявлять значимые закономерности, минимизируя шум в сложных финансовых данных. Мы также создаем новые наборы данных, интегрируя финансовые показатели и исторические цены акций для обучения FinSeer и обеспечения надежной оценки. Экспериментальные результаты показывают, что наша рамочная модель RAG превосходит базовую модель StockLLM и случайный поиск, подчеркивая ее эффективность, в то время как FinSeer превосходит существующие методы поиска, достигая на 8\% более высокой точности на BIGDATA22 и извлекая более значимые последовательности. Эта работа подчеркивает важность индивидуальных моделей поиска в финансовом прогнозировании и предоставляет новую рамочную модель для будущих исследований.

English

Stock movement prediction, a fundamental task in financial time-series forecasting, requires identifying and retrieving critical influencing factors from vast amounts of time-series data. However, existing text-trained or numeric similarity-based retrieval methods fall short in handling complex financial analysis. To address this, we propose the first retrieval-augmented generation (RAG) framework for financial time-series forecasting, featuring three key innovations: a fine-tuned 1B parameter large language model (StockLLM) as the backbone, a novel candidate selection method leveraging LLM feedback, and a training objective that maximizes similarity between queries and historically significant sequences. This enables our retriever, FinSeer, to uncover meaningful patterns while minimizing noise in complex financial data. We also construct new datasets integrating financial indicators and historical stock prices to train FinSeer and ensure robust evaluation. Experimental results demonstrate that our RAG framework outperforms bare StockLLM and random retrieval, highlighting its effectiveness, while FinSeer surpasses existing retrieval methods, achieving an 8\% higher accuracy on BIGDATA22 and retrieving more impactful sequences. This work underscores the importance of tailored retrieval models in financial forecasting and provides a novel framework for future research.