Open-FinLLMs: 금융 분야를 위한 오픈 멀티모달 대형 언어 모델

Open-FinLLMs: Open Multimodal Large Language Models for Financial Applications

August 20, 2024

저자: Qianqian Xie, Dong Li, Mengxi Xiao, Zihao Jiang, Ruoyu Xiang, Xiao Zhang, Zhengyu Chen, Yueru He, Weiguang Han, Yuzhe Yang, Shunian Chen, Yifei Zhang, Lihang Shen, Daniel Kim, Zhiwei Liu, Zheheng Luo, Yangyang Yu, Yupeng Cao, Zhiyang Deng, Zhiyuan Yao, Haohang Li, Duanyu Feng, Yongfu Dai, VijayaSai Somasundaram, Peng Lu, Yilun Zhao, Yitao Long, Guojun Xiong, Kaleb Smith, Honghai Yu, Yanzhao Lai, Min Peng, Jianyun Nie, Jordan W. Suchow, Xiao-Yang Liu, Benyou Wang, Alejandro Lopez-Lira, Jimin Huang, Sophia Ananiadou

cs.AI

초록

대형 언어 모델(Large language models, LLMs)은 금융 응용 프로그램을 발전시켰지만 종종 충분한 금융 지식이 부족하며 테이블 및 시계열 데이터와 같은 다중 모달 입력이 포함된 작업에서 어려움을 겪습니다. 이러한 한계를 극복하기 위해 우리는 Open-FinLLMs를 소개합니다. 이는 금융 LLMs 시리즈입니다. 우리는 520억 토큰의 금융 말뭉치로 사전 훈련된 FinLLaMA로 시작하여 텍스트, 테이블 및 시계열 데이터를 통합하여 포괄적인 금융 지식을 내포합니다. 그런 다음 FinLLaMA는 57만 3천개의 금융 지침으로 지시를 세밀하게 조정하여 작업 성능을 향상시키는 FinLLaMA-instruct를 도입합니다. 마지막으로, 복합적인 금융 데이터 유형을 처리하기 위해 143만 개의 이미지-텍스트 지침으로 훈련된 FinLLaVA를 제시합니다. 철저한 평가를 통해 FinLLaMA가 LLaMA3-8B, LLaMA3.1-8B 및 BloombergGPT보다 19개 및 4개의 데이터 세트에서 제로샷 및 퓨샷 설정에서 우수한 성능을 발휘하는 것을 입증했습니다. FinLLaMA-instruct는 15개의 데이터 세트에서 GPT-4 및 다른 금융 LLMs를 능가했습니다. FinLLaVA는 4개의 복합적인 작업에서 테이블과 차트를 이해하는 데 뛰어납니다. 게다가, FinLLaMA는 거래 시뮬레이션에서 인상적인 샤프 비율을 달성하여 견고한 금융 응용 능력을 강조했습니다. 우리는 계속해서 모델과 벤치마크를 유지하고 개선하여 학계 및 산업의 지속적인 혁신을 지원할 것입니다.

English

Large language models (LLMs) have advanced financial applications, yet they often lack sufficient financial knowledge and struggle with tasks involving multi-modal inputs like tables and time series data. To address these limitations, we introduce Open-FinLLMs, a series of Financial LLMs. We begin with FinLLaMA, pre-trained on a 52 billion token financial corpus, incorporating text, tables, and time-series data to embed comprehensive financial knowledge. FinLLaMA is then instruction fine-tuned with 573K financial instructions, resulting in FinLLaMA-instruct, which enhances task performance. Finally, we present FinLLaVA, a multimodal LLM trained with 1.43M image-text instructions to handle complex financial data types. Extensive evaluations demonstrate FinLLaMA's superior performance over LLaMA3-8B, LLaMA3.1-8B, and BloombergGPT in both zero-shot and few-shot settings across 19 and 4 datasets, respectively. FinLLaMA-instruct outperforms GPT-4 and other Financial LLMs on 15 datasets. FinLLaVA excels in understanding tables and charts across 4 multimodal tasks. Additionally, FinLLaMA achieves impressive Sharpe Ratios in trading simulations, highlighting its robust financial application capabilities. We will continually maintain and improve our models and benchmarks to support ongoing innovation in academia and industry.