Shai: Un modello linguistico su larga scala per la gestione degli asset
Shai: A large language model for asset management
December 21, 2023
Autori: Zhongyang Guo, Guanran Jiang, Zhongdan Zhang, Peng Li, Zhefeng Wang, Yinchun Wang
cs.AI
Abstract
Questo articolo presenta "Shai", un modello linguistico di grandi dimensioni da 10 miliardi di parametri, specificamente progettato per il settore della gestione patrimoniale e costruito su un modello fondazionale open-source. Grazie a un pre-addestramento continuo e a un fine-tuning utilizzando un corpus mirato, Shai dimostra prestazioni migliorate nelle attività rilevanti per il suo dominio, superando i modelli di riferimento. La nostra ricerca include lo sviluppo di un framework di valutazione innovativo, che integra esami di qualifica professionale, task personalizzati, risposte a domande aperte e valutazioni di sicurezza, per analizzare in modo completo le capacità di Shai. Inoltre, discutiamo le sfide e le implicazioni dell'utilizzo di modelli linguistici di grandi dimensioni come GPT-4 per la valutazione delle prestazioni nella gestione patrimoniale, suggerendo una combinazione di valutazione automatizzata e giudizio umano. Lo sviluppo di Shai, che evidenzia il potenziale e la versatilità dei modelli linguistici di grandi dimensioni da 10 miliardi di parametri nel settore finanziario con prestazioni significative e requisiti computazionali modesti, spera di fornire intuizioni pratiche e metodologie per assistere i colleghi del settore nei loro sforzi simili.
English
This paper introduces "Shai" a 10B level large language model specifically
designed for the asset management industry, built upon an open-source
foundational model. With continuous pre-training and fine-tuning using a
targeted corpus, Shai demonstrates enhanced performance in tasks relevant to
its domain, outperforming baseline models. Our research includes the
development of an innovative evaluation framework, which integrates
professional qualification exams, tailored tasks, open-ended question
answering, and safety assessments, to comprehensively assess Shai's
capabilities. Furthermore, we discuss the challenges and implications of
utilizing large language models like GPT-4 for performance assessment in asset
management, suggesting a combination of automated evaluation and human
judgment. Shai's development, showcasing the potential and versatility of
10B-level large language models in the financial sector with significant
performance and modest computational requirements, hopes to provide practical
insights and methodologies to assist industry peers in their similar endeavors.