MIGA: 株価予測のためのグループ集約を用いたエキスパートの混合

MIGA: Mixture-of-Experts with Group Aggregation for Stock Market Prediction

October 3, 2024

著者: Zhaojian Yu, Yinghao Wu, Genesis Wang, Heming Weng

cs.AI

要旨

株価予測は、その固有の高い変動性と低い情報ノイズ比率により、数十年にわたり非常に難しい課題のままでした。機械学習やディープラーニングに基づく既存のソリューションは、全株データセットでトレーニングされた単一モデルを用いて、あらゆる種類の株に対する予測を生成することで優れたパフォーマンスを示しています。しかし、株のスタイルや市場トレンドの大きな変動のため、単一のエンドツーエンドモデルはこれらのスタイル化された株の特徴の違いを完全に捉えるのに苦労し、すべての種類の株に対する比較的正確でない予測をもたらします。本論文では、異なるスタイルの株に特化した予測を生成するために、異なるスタイルの専門家間を動的に切り替えることで設計された新しいMixture of Expert with Group Aggregation（MIGA）フレームワークを提案します。MIGA内の異なる専門家間での協力を促進するために、同じグループ内の専門家が情報を共有し、全体的なパフォーマンスを向上させるための新しい内部グループアテンションアーキテクチャを提案します。その結果、MIGAは、CSI300、CSI500、CSI1000を含む3つの中国株指数ベンチマークで他のエンドツーエンドモデルを大幅に上回ります。特に、MIGA-Convは、CSI300ベンチマークで24％の超過年次リターンを達成し、以前の最先端モデルを8％絶対的に上回ります。さらに、株式市場予測のための専門家の混合に関する包括的な分析を行い、将来の研究に有益な示唆を提供します。

English

Stock market prediction has remained an extremely challenging problem for many decades owing to its inherent high volatility and low information noisy ratio. Existing solutions based on machine learning or deep learning demonstrate superior performance by employing a single model trained on the entire stock dataset to generate predictions across all types of stocks. However, due to the significant variations in stock styles and market trends, a single end-to-end model struggles to fully capture the differences in these stylized stock features, leading to relatively inaccurate predictions for all types of stocks. In this paper, we present MIGA, a novel Mixture of Expert with Group Aggregation framework designed to generate specialized predictions for stocks with different styles by dynamically switching between distinct style experts. To promote collaboration among different experts in MIGA, we propose a novel inner group attention architecture, enabling experts within the same group to share information and thereby enhancing the overall performance of all experts. As a result, MIGA significantly outperforms other end-to-end models on three Chinese Stock Index benchmarks including CSI300, CSI500, and CSI1000. Notably, MIGA-Conv reaches 24 % excess annual return on CSI300 benchmark, surpassing the previous state-of-the-art model by 8% absolute. Furthermore, we conduct a comprehensive analysis of mixture of experts for stock market prediction, providing valuable insights for future research.