Open-FinLLMs: Modelos de Lenguaje Grandes Multimodales Abiertos para Aplicaciones Financieras

Open-FinLLMs: Open Multimodal Large Language Models for Financial Applications

August 20, 2024

Autores: Qianqian Xie, Dong Li, Mengxi Xiao, Zihao Jiang, Ruoyu Xiang, Xiao Zhang, Zhengyu Chen, Yueru He, Weiguang Han, Yuzhe Yang, Shunian Chen, Yifei Zhang, Lihang Shen, Daniel Kim, Zhiwei Liu, Zheheng Luo, Yangyang Yu, Yupeng Cao, Zhiyang Deng, Zhiyuan Yao, Haohang Li, Duanyu Feng, Yongfu Dai, VijayaSai Somasundaram, Peng Lu, Yilun Zhao, Yitao Long, Guojun Xiong, Kaleb Smith, Honghai Yu, Yanzhao Lai, Min Peng, Jianyun Nie, Jordan W. Suchow, Xiao-Yang Liu, Benyou Wang, Alejandro Lopez-Lira, Jimin Huang, Sophia Ananiadou

cs.AI

Resumen

Los modelos de lenguaje grandes (LLMs) han avanzado en aplicaciones financieras, sin embargo, a menudo carecen de conocimiento financiero suficiente y tienen dificultades con tareas que involucran entradas multimodales como tablas y datos de series temporales. Para abordar estas limitaciones, presentamos Open-FinLLMs, una serie de LLMs financieros. Comenzamos con FinLLaMA, pre-entrenado en un corpus financiero de 52 mil millones de tokens, incorporando texto, tablas y datos de series temporales para incrustar un conocimiento financiero integral. Posteriormente, FinLLaMA se ajusta finamente con 573 mil instrucciones financieras, lo que resulta en FinLLaMA-instruct, que mejora el rendimiento en tareas. Finalmente, presentamos FinLLaVA, un LLM multimodal entrenado con 1.43 millones de instrucciones de imagen-texto para manejar tipos de datos financieros complejos. Evaluaciones exhaustivas demuestran el rendimiento superior de FinLLaMA sobre LLaMA3-8B, LLaMA3.1-8B y BloombergGPT tanto en configuraciones de cero disparos como de pocos disparos en 19 y 4 conjuntos de datos, respectivamente. FinLLaMA-instruct supera a GPT-4 y otros LLMs financieros en 15 conjuntos de datos. FinLLaVA destaca en la comprensión de tablas y gráficos en 4 tareas multimodales. Además, FinLLaMA logra impresionantes Índices de Sharpe en simulaciones de trading, destacando sus sólidas capacidades de aplicación financiera. Continuaremos manteniendo y mejorando nuestros modelos y puntos de referencia para respaldar la innovación continua en la academia y la industria.

English

Large language models (LLMs) have advanced financial applications, yet they often lack sufficient financial knowledge and struggle with tasks involving multi-modal inputs like tables and time series data. To address these limitations, we introduce Open-FinLLMs, a series of Financial LLMs. We begin with FinLLaMA, pre-trained on a 52 billion token financial corpus, incorporating text, tables, and time-series data to embed comprehensive financial knowledge. FinLLaMA is then instruction fine-tuned with 573K financial instructions, resulting in FinLLaMA-instruct, which enhances task performance. Finally, we present FinLLaVA, a multimodal LLM trained with 1.43M image-text instructions to handle complex financial data types. Extensive evaluations demonstrate FinLLaMA's superior performance over LLaMA3-8B, LLaMA3.1-8B, and BloombergGPT in both zero-shot and few-shot settings across 19 and 4 datasets, respectively. FinLLaMA-instruct outperforms GPT-4 and other Financial LLMs on 15 datasets. FinLLaVA excels in understanding tables and charts across 4 multimodal tasks. Additionally, FinLLaMA achieves impressive Sharpe Ratios in trading simulations, highlighting its robust financial application capabilities. We will continually maintain and improve our models and benchmarks to support ongoing innovation in academia and industry.