MIGA: Mixture-of-Experts met Groepsaggregatie voor Voorspelling van de Effectenmarkt

MIGA: Mixture-of-Experts with Group Aggregation for Stock Market Prediction

October 3, 2024

Auteurs: Zhaojian Yu, Yinghao Wu, Genesis Wang, Heming Weng

cs.AI

Samenvatting

Het voorspellen van de aandelenmarkt is al tientallen jaren een uiterst uitdagend probleem vanwege de inherente hoge volatiliteit en lage informatie-ruisverhouding. Bestaande oplossingen op basis van machine learning of diep leren tonen superieure prestaties door gebruik te maken van een enkel model dat is getraind op de volledige aandelendataset om voorspellingen te genereren voor alle soorten aandelen. Echter, vanwege de aanzienlijke variaties in aandelentypen en markttrends, worstelt een enkel end-to-end model om de verschillen in deze gestileerde aandeleneigenschappen volledig vast te leggen, wat leidt tot relatief onnauwkeurige voorspellingen voor alle soorten aandelen. In dit artikel presenteren we MIGA, een nieuw Mixture of Expert with Group Aggregation-framework dat is ontworpen om gespecialiseerde voorspellingen te genereren voor aandelen met verschillende stijlen door dynamisch te schakelen tussen verschillende stijlexperts. Om samenwerking tussen verschillende experts in MIGA te bevorderen, stellen we een nieuw inner group attention-architectuur voor, waardoor experts binnen dezelfde groep informatie kunnen delen en zo de algehele prestaties van alle experts verbeteren. Als gevolg hiervan presteert MIGA aanzienlijk beter dan andere end-to-end modellen op drie Chinese aandelendex benchmarks, waaronder CSI300, CSI500 en CSI1000. Opmerkelijk genoeg behaalt MIGA-Conv een 24% hoger jaarlijks rendement op de CSI300 benchmark, wat de vorige state-of-the-art model met 8% absoluut overtreft. Bovendien voeren we een uitgebreide analyse uit van de mixture of experts voor aandelenvoorspellingen, wat waardevolle inzichten biedt voor toekomstig onderzoek.

English

Stock market prediction has remained an extremely challenging problem for many decades owing to its inherent high volatility and low information noisy ratio. Existing solutions based on machine learning or deep learning demonstrate superior performance by employing a single model trained on the entire stock dataset to generate predictions across all types of stocks. However, due to the significant variations in stock styles and market trends, a single end-to-end model struggles to fully capture the differences in these stylized stock features, leading to relatively inaccurate predictions for all types of stocks. In this paper, we present MIGA, a novel Mixture of Expert with Group Aggregation framework designed to generate specialized predictions for stocks with different styles by dynamically switching between distinct style experts. To promote collaboration among different experts in MIGA, we propose a novel inner group attention architecture, enabling experts within the same group to share information and thereby enhancing the overall performance of all experts. As a result, MIGA significantly outperforms other end-to-end models on three Chinese Stock Index benchmarks including CSI300, CSI500, and CSI1000. Notably, MIGA-Conv reaches 24 % excess annual return on CSI300 benchmark, surpassing the previous state-of-the-art model by 8% absolute. Furthermore, we conduct a comprehensive analysis of mixture of experts for stock market prediction, providing valuable insights for future research.