Shai: Een groot taalmodel voor vermogensbeheer

Shai: A large language model for asset management

December 21, 2023

Auteurs: Zhongyang Guo, Guanran Jiang, Zhongdan Zhang, Peng Li, Zhefeng Wang, Yinchun Wang

cs.AI

Samenvatting

Dit artikel introduceert "Shai", een groot taalmodel op het niveau van 10B, specifiek ontworpen voor de vermogensbeheersector, gebouwd op een open-source basis model. Door continue voorafgaande training en fine-tuning met een gericht corpus, toont Shai verbeterde prestaties in taken die relevant zijn voor zijn domein, waarbij het baseline modellen overtreft. Ons onderzoek omvat de ontwikkeling van een innovatief evaluatiekader, dat professionele kwalificatie-examens, op maat gemaakte taken, open-einde vraagbeantwoording en veiligheidsbeoordelingen integreert, om de capaciteiten van Shai uitgebreid te beoordelen. Verder bespreken we de uitdagingen en implicaties van het gebruik van grote taalmodellen zoals GPT-4 voor prestatiebeoordeling in vermogensbeheer, waarbij we een combinatie van geautomatiseerde evaluatie en menselijk oordeel voorstellen. De ontwikkeling van Shai, die het potentieel en de veelzijdigheid van grote taalmodellen op het niveau van 10B in de financiële sector toont met aanzienlijke prestaties en bescheiden rekenvereisten, hoopt praktische inzichten en methodologieën te bieden om branchegenoten te ondersteunen bij hun soortgelijke inspanningen.

English

This paper introduces "Shai" a 10B level large language model specifically designed for the asset management industry, built upon an open-source foundational model. With continuous pre-training and fine-tuning using a targeted corpus, Shai demonstrates enhanced performance in tasks relevant to its domain, outperforming baseline models. Our research includes the development of an innovative evaluation framework, which integrates professional qualification exams, tailored tasks, open-ended question answering, and safety assessments, to comprehensively assess Shai's capabilities. Furthermore, we discuss the challenges and implications of utilizing large language models like GPT-4 for performance assessment in asset management, suggesting a combination of automated evaluation and human judgment. Shai's development, showcasing the potential and versatility of 10B-level large language models in the financial sector with significant performance and modest computational requirements, hopes to provide practical insights and methodologies to assist industry peers in their similar endeavors.