MIGA: Смесь экспертов с групповой агрегацией для прогнозирования фондового рынка

MIGA: Mixture-of-Experts with Group Aggregation for Stock Market Prediction

October 3, 2024

Авторы: Zhaojian Yu, Yinghao Wu, Genesis Wang, Heming Weng

cs.AI

Аннотация

Прогнозирование фондового рынка остается чрезвычайно сложной проблемой на протяжении многих десятилетий из-за его высокой волатильности и низкого отношения информативности к шуму. Существующие решения, основанные на машинном обучении или глубоком обучении, демонстрируют превосходные результаты, используя одну модель, обученную на всем наборе данных по акциям, для генерации прогнозов по всем типам акций. Однако из-за значительных различий в стилях акций и тенденциях рынка одна единая модель сталкивается с трудностями в полном улавливании различий в этих стилизованных признаках акций, что приводит к относительно неточным прогнозам для всех типов акций. В данной статье мы представляем MIGA, новую архитектуру Смеси Экспертов с Групповой Агрегацией, разработанную для генерации специализированных прогнозов для акций с различными стилями путем динамического переключения между различными стилистическими экспертами. Для поощрения сотрудничества между различными экспертами в MIGA мы предлагаем новую архитектуру внутреннего группового внимания, позволяющую экспертам в одной группе обмениваться информацией и тем самым повышать общую производительность всех экспертов. В результате MIGA значительно превосходит другие единые модели на трех китайских бенчмарках по акциям, включая CSI300, CSI500 и CSI1000. Особенно MIGA-Conv достигает избыточной годовой доходности на бенчмарке CSI300 в размере 24%, превосходя предыдущую передовую модель на 8% абсолютно. Кроме того, мы проводим всесторонний анализ смеси экспертов для прогнозирования фондового рынка, предоставляя ценные исследовательские выводы для будущих исследований.

English

Stock market prediction has remained an extremely challenging problem for many decades owing to its inherent high volatility and low information noisy ratio. Existing solutions based on machine learning or deep learning demonstrate superior performance by employing a single model trained on the entire stock dataset to generate predictions across all types of stocks. However, due to the significant variations in stock styles and market trends, a single end-to-end model struggles to fully capture the differences in these stylized stock features, leading to relatively inaccurate predictions for all types of stocks. In this paper, we present MIGA, a novel Mixture of Expert with Group Aggregation framework designed to generate specialized predictions for stocks with different styles by dynamically switching between distinct style experts. To promote collaboration among different experts in MIGA, we propose a novel inner group attention architecture, enabling experts within the same group to share information and thereby enhancing the overall performance of all experts. As a result, MIGA significantly outperforms other end-to-end models on three Chinese Stock Index benchmarks including CSI300, CSI500, and CSI1000. Notably, MIGA-Conv reaches 24 % excess annual return on CSI300 benchmark, surpassing the previous state-of-the-art model by 8% absolute. Furthermore, we conduct a comprehensive analysis of mixture of experts for stock market prediction, providing valuable insights for future research.