Shai: Un modelo de lenguaje de gran escala para la gestión de activos

Shai: A large language model for asset management

December 21, 2023

Autores: Zhongyang Guo, Guanran Jiang, Zhongdan Zhang, Peng Li, Zhefeng Wang, Yinchun Wang

cs.AI

Resumen

Este artículo presenta "Shai", un modelo de lenguaje grande de nivel 10B específicamente diseñado para la industria de gestión de activos, construido sobre un modelo base de código abierto. Con un preentrenamiento y ajuste fino continuo utilizando un corpus especializado, Shai demuestra un rendimiento mejorado en tareas relevantes para su dominio, superando a los modelos de referencia. Nuestra investigación incluye el desarrollo de un marco de evaluación innovador, que integra exámenes de calificación profesional, tareas personalizadas, respuestas a preguntas abiertas y evaluaciones de seguridad, para evaluar de manera integral las capacidades de Shai. Además, discutimos los desafíos y las implicaciones de utilizar modelos de lenguaje grandes como GPT-4 para la evaluación de rendimiento en la gestión de activos, sugiriendo una combinación de evaluación automatizada y juicio humano. El desarrollo de Shai, que muestra el potencial y la versatilidad de los modelos de lenguaje grandes de nivel 10B en el sector financiero con un rendimiento significativo y requisitos computacionales modestos, espera proporcionar ideas prácticas y metodologías para ayudar a colegas de la industria en esfuerzos similares.

English

This paper introduces "Shai" a 10B level large language model specifically designed for the asset management industry, built upon an open-source foundational model. With continuous pre-training and fine-tuning using a targeted corpus, Shai demonstrates enhanced performance in tasks relevant to its domain, outperforming baseline models. Our research includes the development of an innovative evaluation framework, which integrates professional qualification exams, tailored tasks, open-ended question answering, and safety assessments, to comprehensively assess Shai's capabilities. Furthermore, we discuss the challenges and implications of utilizing large language models like GPT-4 for performance assessment in asset management, suggesting a combination of automated evaluation and human judgment. Shai's development, showcasing the potential and versatility of 10B-level large language models in the financial sector with significant performance and modest computational requirements, hopes to provide practical insights and methodologies to assist industry peers in their similar endeavors.