FinTral: GPT-4レベルのマルチモーダル金融大規模言語モデルファミリー

FinTral: A Family of GPT-4 Level Multimodal Financial Large Language Models

February 16, 2024

著者: Gagan Bhatia, El Moatez Billah Nagoudi, Hasan Cavusoglu, Muhammad Abdul-Mageed

cs.AI

要旨

我々は、Mistral-7bモデルを基盤とし、財務分析に特化した最先端のマルチモーダル大規模言語モデル（LLM）スイートであるFinTralを紹介する。FinTralは、テキスト、数値、表形式データ、画像データを統合する。本作品のためにキュレーションした大規模なテキストおよび視覚データセットを活用し、ドメイン固有の事前学習、指示ファインチューニング、RLAIFトレーニングによってFinTralを強化した。また、財務分野における幻覚を含む、9つのタスクと25のデータセットを特徴とする広範なベンチマークを導入し、評価を行った。高度なツールと検索手法を採用した直接選好最適化でトレーニングされたFinTralモデル、FinTral-DPO-T&Rは、卓越したゼロショット性能を示す。全てのタスクでChatGPT-3.5を上回り、9つのタスクのうち5つでGPT-4を凌駕し、AI駆動の金融技術における重要な進展を記録した。また、FinTralが多様な金融文脈におけるリアルタイム分析と意思決定において優れた潜在能力を有することを実証した。

English

We introduce FinTral, a suite of state-of-the-art multimodal large language models (LLMs) built upon the Mistral-7b model and tailored for financial analysis. FinTral integrates textual, numerical, tabular, and image data. We enhance FinTral with domain-specific pretraining, instruction fine-tuning, and RLAIF training by exploiting a large collection of textual and visual datasets we curate for this work. We also introduce an extensive benchmark featuring nine tasks and 25 datasets for evaluation, including hallucinations in the financial domain. Our FinTral model trained with direct preference optimization employing advanced Tools and Retrieval methods, dubbed FinTral-DPO-T&R, demonstrates an exceptional zero-shot performance. It outperforms ChatGPT-3.5 in all tasks and surpasses GPT-4 in five out of nine tasks, marking a significant advancement in AI-driven financial technology. We also demonstrate that FinTral has the potential to excel in real-time analysis and decision-making in diverse financial contexts.