Open-FinLLMs: 金融アプリケーション向けのオープンマルチモーダル大規模言語モデル

Open-FinLLMs: Open Multimodal Large Language Models for Financial Applications

August 20, 2024

著者: Qianqian Xie, Dong Li, Mengxi Xiao, Zihao Jiang, Ruoyu Xiang, Xiao Zhang, Zhengyu Chen, Yueru He, Weiguang Han, Yuzhe Yang, Shunian Chen, Yifei Zhang, Lihang Shen, Daniel Kim, Zhiwei Liu, Zheheng Luo, Yangyang Yu, Yupeng Cao, Zhiyang Deng, Zhiyuan Yao, Haohang Li, Duanyu Feng, Yongfu Dai, VijayaSai Somasundaram, Peng Lu, Yilun Zhao, Yitao Long, Guojun Xiong, Kaleb Smith, Honghai Yu, Yanzhao Lai, Min Peng, Jianyun Nie, Jordan W. Suchow, Xiao-Yang Liu, Benyou Wang, Alejandro Lopez-Lira, Jimin Huang, Sophia Ananiadou

cs.AI

要旨

大規模言語モデル（LLMs）は金融アプリケーションの進化に貢献していますが、しばしば十分な金融知識が欠如しており、テーブルや時系列データなどのマルチモーダル入力を扱うタスクに苦労しています。これらの制約に対処するために、私たちはOpen-FinLLMsを導入します。これは、金融LLMsのシリーズです。我々は、52億トークンの金融コーパスで事前学習されたFinLLaMAから始め、テキスト、テーブル、時系列データを組み込んで包括的な金融知識を埋め込みます。その後、FinLLaMAは573Kの金融命令で指示を微調整し、タスクのパフォーマンスを向上させたFinLLaMA-instructを生み出します。最後に、1.43Mの画像テキスト命令で訓練されたマルチモーダルLLMであるFinLLaVAを提供します。これは、複雑な金融データタイプを処理するためのものです。包括的な評価により、FinLLaMAは、ゼロショットおよびフューショットの両方の設定で、それぞれ19および4つのデータセットでLLaMA3-8B、LLaMA3.1-8B、およびBloombergGPTよりも優れたパフォーマンスを発揮しています。FinLLaMA-instructは、15のデータセットでGPT-4や他の金融LLMsを凌駕しています。FinLLaVAは、4つのマルチモーダルタスクでテーブルやチャートを理解するのに優れています。さらに、FinLLaMAは取引シミュレーションで印象的なシャープレシオを達成し、その堅牢な金融アプリケーション能力を強調しています。私たちは、学術界や産業界における持続的なイノベーションを支援するために、モデルとベンチマークを継続的に維持し、改善していきます。

English

Large language models (LLMs) have advanced financial applications, yet they often lack sufficient financial knowledge and struggle with tasks involving multi-modal inputs like tables and time series data. To address these limitations, we introduce Open-FinLLMs, a series of Financial LLMs. We begin with FinLLaMA, pre-trained on a 52 billion token financial corpus, incorporating text, tables, and time-series data to embed comprehensive financial knowledge. FinLLaMA is then instruction fine-tuned with 573K financial instructions, resulting in FinLLaMA-instruct, which enhances task performance. Finally, we present FinLLaVA, a multimodal LLM trained with 1.43M image-text instructions to handle complex financial data types. Extensive evaluations demonstrate FinLLaMA's superior performance over LLaMA3-8B, LLaMA3.1-8B, and BloombergGPT in both zero-shot and few-shot settings across 19 and 4 datasets, respectively. FinLLaMA-instruct outperforms GPT-4 and other Financial LLMs on 15 datasets. FinLLaVA excels in understanding tables and charts across 4 multimodal tasks. Additionally, FinLLaMA achieves impressive Sharpe Ratios in trading simulations, highlighting its robust financial application capabilities. We will continually maintain and improve our models and benchmarks to support ongoing innovation in academia and industry.