Shai : Un modèle de langage de grande envergure pour la gestion d'actifs
Shai: A large language model for asset management
December 21, 2023
Auteurs: Zhongyang Guo, Guanran Jiang, Zhongdan Zhang, Peng Li, Zhefeng Wang, Yinchun Wang
cs.AI
Résumé
Cet article présente "Shai", un modèle de langage de grande échelle de 10 milliards de paramètres spécifiquement conçu pour l'industrie de la gestion d'actifs, construit sur un modèle de base open source. Grâce à un pré-entraînement continu et à un ajustement fin utilisant un corpus ciblé, Shai démontre des performances améliorées dans les tâches pertinentes à son domaine, surpassant les modèles de référence. Notre recherche inclut le développement d'un cadre d'évaluation innovant, qui intègre des examens de qualification professionnelle, des tâches sur mesure, des réponses à des questions ouvertes et des évaluations de sécurité, pour évaluer de manière exhaustive les capacités de Shai. De plus, nous discutons des défis et des implications de l'utilisation de modèles de langage de grande échelle comme GPT-4 pour l'évaluation des performances dans la gestion d'actifs, suggérant une combinaison d'évaluation automatisée et de jugement humain. Le développement de Shai, illustrant le potentiel et la polyvalence des modèles de langage de grande échelle de 10 milliards de paramètres dans le secteur financier avec des performances significatives et des exigences computationnelles modestes, espère fournir des insights pratiques et des méthodologies pour aider les pairs de l'industrie dans leurs efforts similaires.
English
This paper introduces "Shai" a 10B level large language model specifically
designed for the asset management industry, built upon an open-source
foundational model. With continuous pre-training and fine-tuning using a
targeted corpus, Shai demonstrates enhanced performance in tasks relevant to
its domain, outperforming baseline models. Our research includes the
development of an innovative evaluation framework, which integrates
professional qualification exams, tailored tasks, open-ended question
answering, and safety assessments, to comprehensively assess Shai's
capabilities. Furthermore, we discuss the challenges and implications of
utilizing large language models like GPT-4 for performance assessment in asset
management, suggesting a combination of automated evaluation and human
judgment. Shai's development, showcasing the potential and versatility of
10B-level large language models in the financial sector with significant
performance and modest computational requirements, hopes to provide practical
insights and methodologies to assist industry peers in their similar endeavors.