Shai: Крупная языковая модель для управления активами
Shai: A large language model for asset management
December 21, 2023
Авторы: Zhongyang Guo, Guanran Jiang, Zhongdan Zhang, Peng Li, Zhefeng Wang, Yinchun Wang
cs.AI
Аннотация
В данной статье представлена модель "Shai" — крупная языковая модель уровня 10 миллиардов параметров, специально разработанная для индустрии управления активами и построенная на основе открытой базовой модели. Благодаря непрерывному предварительному обучению и тонкой настройке с использованием целевого корпуса данных, Shai демонстрирует улучшенную производительность в задачах, актуальных для её области, превосходя базовые модели. Наше исследование включает разработку инновационной системы оценки, которая интегрирует профессиональные квалификационные экзамены, специализированные задачи, ответы на открытые вопросы и проверку безопасности, чтобы всесторонне оценить возможности Shai. Кроме того, мы обсуждаем вызовы и последствия использования крупных языковых моделей, таких как GPT-4, для оценки производительности в управлении активами, предлагая сочетание автоматизированной оценки и экспертного суждения. Разработка Shai, демонстрирующая потенциал и универсальность крупных языковых моделей уровня 10 миллиардов параметров в финансовом секторе с высокой производительностью и умеренными вычислительными требованиями, призвана предоставить практические идеи и методологии, которые помогут коллегам по отрасли в их аналогичных начинаниях.
English
This paper introduces "Shai" a 10B level large language model specifically
designed for the asset management industry, built upon an open-source
foundational model. With continuous pre-training and fine-tuning using a
targeted corpus, Shai demonstrates enhanced performance in tasks relevant to
its domain, outperforming baseline models. Our research includes the
development of an innovative evaluation framework, which integrates
professional qualification exams, tailored tasks, open-ended question
answering, and safety assessments, to comprehensively assess Shai's
capabilities. Furthermore, we discuss the challenges and implications of
utilizing large language models like GPT-4 for performance assessment in asset
management, suggesting a combination of automated evaluation and human
judgment. Shai's development, showcasing the potential and versatility of
10B-level large language models in the financial sector with significant
performance and modest computational requirements, hopes to provide practical
insights and methodologies to assist industry peers in their similar endeavors.