Shai: Um modelo de linguagem de grande escala para gestão de ativos

Shai: A large language model for asset management

December 21, 2023

Autores: Zhongyang Guo, Guanran Jiang, Zhongdan Zhang, Peng Li, Zhefeng Wang, Yinchun Wang

cs.AI

Resumo

Este artigo apresenta o "Shai", um modelo de linguagem de grande escala de 10 bilhões de parâmetros especificamente projetado para a indústria de gestão de ativos, construído sobre um modelo base de código aberto. Com pré-treinamento contínuo e ajuste fino utilizando um corpus direcionado, o Shai demonstra desempenho aprimorado em tarefas relevantes para seu domínio, superando modelos de referência. Nossa pesquisa inclui o desenvolvimento de uma estrutura de avaliação inovadora, que integra exames de qualificação profissional, tarefas personalizadas, respostas a perguntas abertas e avaliações de segurança, para avaliar de forma abrangente as capacidades do Shai. Além disso, discutimos os desafios e implicações da utilização de modelos de linguagem de grande escala, como o GPT-4, para avaliação de desempenho na gestão de ativos, sugerindo uma combinação de avaliação automatizada e julgamento humano. O desenvolvimento do Shai, que demonstra o potencial e a versatilidade de modelos de linguagem de grande escala de 10 bilhões de parâmetros no setor financeiro, com desempenho significativo e requisitos computacionais modestos, espera fornecer insights práticos e metodologias para auxiliar colegas da indústria em empreendimentos semelhantes.

English

This paper introduces "Shai" a 10B level large language model specifically designed for the asset management industry, built upon an open-source foundational model. With continuous pre-training and fine-tuning using a targeted corpus, Shai demonstrates enhanced performance in tasks relevant to its domain, outperforming baseline models. Our research includes the development of an innovative evaluation framework, which integrates professional qualification exams, tailored tasks, open-ended question answering, and safety assessments, to comprehensively assess Shai's capabilities. Furthermore, we discuss the challenges and implications of utilizing large language models like GPT-4 for performance assessment in asset management, suggesting a combination of automated evaluation and human judgment. Shai's development, showcasing the potential and versatility of 10B-level large language models in the financial sector with significant performance and modest computational requirements, hopes to provide practical insights and methodologies to assist industry peers in their similar endeavors.