Shai: Ein großes Sprachmodell für das Vermögensmanagement
Shai: A large language model for asset management
December 21, 2023
Autoren: Zhongyang Guo, Guanran Jiang, Zhongdan Zhang, Peng Li, Zhefeng Wang, Yinchun Wang
cs.AI
Zusammenfassung
Dieses Papier stellt „Shai“ vor, ein großes Sprachmodell mit 10 Milliarden Parametern, das speziell für die Vermögensverwaltungsbranche entwickelt wurde und auf einem Open-Source-Basismodell aufbaut. Durch kontinuierliches Vorabtraining und Feinabstimmung mithilfe eines gezielten Korpus zeigt Shai eine verbesserte Leistung bei aufgabenbezogenen Anwendungen in seinem Fachgebiet und übertrifft dabei Baseline-Modelle. Unsere Forschung umfasst die Entwicklung eines innovativen Bewertungsrahmens, der Berufsqualifikationsprüfungen, maßgeschneiderte Aufgaben, offene Frage-Antwort-Szenarien und Sicherheitsbewertungen integriert, um die Fähigkeiten von Shai umfassend zu bewerten. Darüber hinaus diskutieren wir die Herausforderungen und Implikationen der Nutzung großer Sprachmodelle wie GPT-4 zur Leistungsbewertung in der Vermögensverwaltung und schlagen eine Kombination aus automatischer Bewertung und menschlicher Beurteilung vor. Die Entwicklung von Shai, die das Potenzial und die Vielseitigkeit von 10-Milliarden-Parameter-Sprachmodellen im Finanzsektor bei signifikanter Leistung und moderaten Rechenanforderungen demonstriert, soll praktische Einblicke und Methoden liefern, um Branchenkollegen bei ähnlichen Vorhaben zu unterstützen.
English
This paper introduces "Shai" a 10B level large language model specifically
designed for the asset management industry, built upon an open-source
foundational model. With continuous pre-training and fine-tuning using a
targeted corpus, Shai demonstrates enhanced performance in tasks relevant to
its domain, outperforming baseline models. Our research includes the
development of an innovative evaluation framework, which integrates
professional qualification exams, tailored tasks, open-ended question
answering, and safety assessments, to comprehensively assess Shai's
capabilities. Furthermore, we discuss the challenges and implications of
utilizing large language models like GPT-4 for performance assessment in asset
management, suggesting a combination of automated evaluation and human
judgment. Shai's development, showcasing the potential and versatility of
10B-level large language models in the financial sector with significant
performance and modest computational requirements, hopes to provide practical
insights and methodologies to assist industry peers in their similar endeavors.