Shai：資産管理のための大規模言語モデル

Shai: A large language model for asset management

December 21, 2023

著者: Zhongyang Guo, Guanran Jiang, Zhongdan Zhang, Peng Li, Zhefeng Wang, Yinchun Wang

cs.AI

要旨

本論文では、資産運用業界向けに特別に設計された100億パラメータ規模の大規模言語モデル「Shai」を紹介する。このモデルはオープンソースの基盤モデルをベースに構築され、対象分野に特化したコーパスを用いた継続的な事前学習とファインチューニングを経て、ベースラインモデルを上回るドメイン関連タスクでの性能向上を示している。本研究では、専門資格試験、カスタマイズタスク、自由回答形式の質問応答、安全性評価を統合した革新的な評価フレームワークを開発し、Shaiの能力を包括的に評価している。さらに、GPT-4のような大規模言語モデルを資産運用におけるパフォーマンス評価に活用する際の課題と意義について議論し、自動評価と人間の判断を組み合わせることを提案する。Shaiの開発は、金融分野における100億パラメータ規模の大規模言語モデルの可能性と汎用性を示し、優れた性能と控えめな計算要件を実現することで、業界の同僚たちが同様の取り組みを行う際の実践的な洞察と方法論を提供することを目指している。

English

This paper introduces "Shai" a 10B level large language model specifically designed for the asset management industry, built upon an open-source foundational model. With continuous pre-training and fine-tuning using a targeted corpus, Shai demonstrates enhanced performance in tasks relevant to its domain, outperforming baseline models. Our research includes the development of an innovative evaluation framework, which integrates professional qualification exams, tailored tasks, open-ended question answering, and safety assessments, to comprehensively assess Shai's capabilities. Furthermore, we discuss the challenges and implications of utilizing large language models like GPT-4 for performance assessment in asset management, suggesting a combination of automated evaluation and human judgment. Shai's development, showcasing the potential and versatility of 10B-level large language models in the financial sector with significant performance and modest computational requirements, hopes to provide practical insights and methodologies to assist industry peers in their similar endeavors.