Open-FinLLMs: Modelli Linguistici Multimodali di Grande Scala Aperti per Applicazioni Finanziarie

Open-FinLLMs: Open Multimodal Large Language Models for Financial Applications

August 20, 2024

Autori: Qianqian Xie, Dong Li, Mengxi Xiao, Zihao Jiang, Ruoyu Xiang, Xiao Zhang, Zhengyu Chen, Yueru He, Weiguang Han, Yuzhe Yang, Shunian Chen, Yifei Zhang, Lihang Shen, Daniel Kim, Zhiwei Liu, Zheheng Luo, Yangyang Yu, Yupeng Cao, Zhiyang Deng, Zhiyuan Yao, Haohang Li, Duanyu Feng, Yongfu Dai, VijayaSai Somasundaram, Peng Lu, Yilun Zhao, Yitao Long, Guojun Xiong, Kaleb Smith, Honghai Yu, Yanzhao Lai, Min Peng, Jianyun Nie, Jordan W. Suchow, Xiao-Yang Liu, Benyou Wang, Alejandro Lopez-Lira, Jimin Huang, Sophia Ananiadou

cs.AI

Abstract

I modelli linguistici di grandi dimensioni (LLM) hanno fatto avanzare le applicazioni finanziarie, ma spesso mancano di sufficienti conoscenze finanziarie e faticano con compiti che coinvolgono input multimodali come tabelle e dati di serie temporali. Per affrontare queste limitazioni, introduciamo Open-FinLLMs, una serie di LLM finanziari. Iniziamo con FinLLaMA, pre-addestrato su un corpus finanziario di 52 miliardi di token, incorporando testo, tabelle e dati di serie temporali per integrare una conoscenza finanziaria completa. FinLLaMA viene poi ottimizzato tramite istruzioni con 573K istruzioni finanziarie, risultando in FinLLaMA-instruct, che migliora le prestazioni nei compiti. Infine, presentiamo FinLLaVA, un LLM multimodale addestrato con 1.43M istruzioni immagine-testo per gestire tipi di dati finanziari complessi. Valutazioni estensive dimostrano che FinLLaMA supera LLaMA3-8B, LLaMA3.1-8B e BloombergGPT sia in contesti zero-shot che few-shot su 19 e 4 dataset, rispettivamente. FinLLaMA-instruct supera GPT-4 e altri LLM finanziari su 15 dataset. FinLLaVA eccelle nella comprensione di tabelle e grafici in 4 compiti multimodali. Inoltre, FinLLaMA raggiunge impressionanti rapporti di Sharpe nelle simulazioni di trading, evidenziando le sue robuste capacità di applicazione finanziaria. Continueremo a mantenere e migliorare i nostri modelli e benchmark per supportare l'innovazione continua in ambito accademico e industriale.

English

Large language models (LLMs) have advanced financial applications, yet they often lack sufficient financial knowledge and struggle with tasks involving multi-modal inputs like tables and time series data. To address these limitations, we introduce Open-FinLLMs, a series of Financial LLMs. We begin with FinLLaMA, pre-trained on a 52 billion token financial corpus, incorporating text, tables, and time-series data to embed comprehensive financial knowledge. FinLLaMA is then instruction fine-tuned with 573K financial instructions, resulting in FinLLaMA-instruct, which enhances task performance. Finally, we present FinLLaVA, a multimodal LLM trained with 1.43M image-text instructions to handle complex financial data types. Extensive evaluations demonstrate FinLLaMA's superior performance over LLaMA3-8B, LLaMA3.1-8B, and BloombergGPT in both zero-shot and few-shot settings across 19 and 4 datasets, respectively. FinLLaMA-instruct outperforms GPT-4 and other Financial LLMs on 15 datasets. FinLLaVA excels in understanding tables and charts across 4 multimodal tasks. Additionally, FinLLaMA achieves impressive Sharpe Ratios in trading simulations, highlighting its robust financial application capabilities. We will continually maintain and improve our models and benchmarks to support ongoing innovation in academia and industry.