Open-FinLLMs : Modèles de Langage Multimodaux Ouverts de Grande Taille pour les Applications Financières

Open-FinLLMs: Open Multimodal Large Language Models for Financial Applications

August 20, 2024

Auteurs: Qianqian Xie, Dong Li, Mengxi Xiao, Zihao Jiang, Ruoyu Xiang, Xiao Zhang, Zhengyu Chen, Yueru He, Weiguang Han, Yuzhe Yang, Shunian Chen, Yifei Zhang, Lihang Shen, Daniel Kim, Zhiwei Liu, Zheheng Luo, Yangyang Yu, Yupeng Cao, Zhiyang Deng, Zhiyuan Yao, Haohang Li, Duanyu Feng, Yongfu Dai, VijayaSai Somasundaram, Peng Lu, Yilun Zhao, Yitao Long, Guojun Xiong, Kaleb Smith, Honghai Yu, Yanzhao Lai, Min Peng, Jianyun Nie, Jordan W. Suchow, Xiao-Yang Liu, Benyou Wang, Alejandro Lopez-Lira, Jimin Huang, Sophia Ananiadou

cs.AI

Résumé

Les grands modèles de langage (LLM) ont permis des avancées dans les applications financières, mais ils manquent souvent de connaissances financières suffisantes et rencontrent des difficultés avec les tâches impliquant des entrées multimodales telles que les tableaux et les séries temporelles. Pour pallier ces limitations, nous présentons Open-FinLLMs, une série de LLM financiers. Nous commençons avec FinLLaMA, pré-entraîné sur un corpus financier de 52 milliards de jetons, intégrant du texte, des tableaux et des données de séries temporelles pour incorporer des connaissances financières complètes. FinLLaMA est ensuite affiné par instruction avec 573 000 instructions financières, donnant FinLLaMA-instruct, qui améliore les performances des tâches. Enfin, nous présentons FinLLaVA, un LLM multimodal entraîné avec 1,43 million d'instructions image-texte pour traiter des types de données financières complexes. Des évaluations approfondies démontrent la performance supérieure de FinLLaMA par rapport à LLaMA3-8B, LLaMA3.1-8B et BloombergGPT, dans des configurations à zéro tir et à quelques tirs sur respectivement 19 et 4 ensembles de données. FinLLaMA-instruct surpasse GPT-4 et d'autres LLM financiers sur 15 ensembles de données. FinLLaVA excelle dans la compréhension des tableaux et des graphiques dans le cadre de 4 tâches multimodales. De plus, FinLLaMA obtient d'impressionnants ratios de Sharpe dans des simulations de trading, mettant en avant ses solides capacités d'application financière. Nous continuerons à entretenir et améliorer nos modèles et référentiels pour soutenir l'innovation continue dans le milieu académique et industriel.

English

Large language models (LLMs) have advanced financial applications, yet they often lack sufficient financial knowledge and struggle with tasks involving multi-modal inputs like tables and time series data. To address these limitations, we introduce Open-FinLLMs, a series of Financial LLMs. We begin with FinLLaMA, pre-trained on a 52 billion token financial corpus, incorporating text, tables, and time-series data to embed comprehensive financial knowledge. FinLLaMA is then instruction fine-tuned with 573K financial instructions, resulting in FinLLaMA-instruct, which enhances task performance. Finally, we present FinLLaVA, a multimodal LLM trained with 1.43M image-text instructions to handle complex financial data types. Extensive evaluations demonstrate FinLLaMA's superior performance over LLaMA3-8B, LLaMA3.1-8B, and BloombergGPT in both zero-shot and few-shot settings across 19 and 4 datasets, respectively. FinLLaMA-instruct outperforms GPT-4 and other Financial LLMs on 15 datasets. FinLLaVA excels in understanding tables and charts across 4 multimodal tasks. Additionally, FinLLaMA achieves impressive Sharpe Ratios in trading simulations, highlighting its robust financial application capabilities. We will continually maintain and improve our models and benchmarks to support ongoing innovation in academia and industry.