FinTral: Una famiglia di modelli linguistici multimodali di grandi dimensioni per il settore finanziario di livello GPT-4

FinTral: A Family of GPT-4 Level Multimodal Financial Large Language Models

February 16, 2024

Autori: Gagan Bhatia, El Moatez Billah Nagoudi, Hasan Cavusoglu, Muhammad Abdul-Mageed

cs.AI

Abstract

Presentiamo FinTral, una suite di modelli linguistici multimodali (LLM) all'avanguardia basati sul modello Mistral-7b e progettati specificamente per l'analisi finanziaria. FinTral integra dati testuali, numerici, tabellari e visivi. Abbiamo potenziato FinTral con pre-addestramento specifico per il dominio, fine-tuning su istruzioni e addestramento RLAIF, sfruttando una vasta raccolta di dataset testuali e visivi che abbiamo curato per questo lavoro. Introduciamo inoltre un benchmark esteso che comprende nove task e 25 dataset per la valutazione, inclusi fenomeni di allucinazione nel dominio finanziario. Il nostro modello FinTral addestrato con ottimizzazione diretta delle preferenze utilizzando strumenti avanzati e metodi di recupero, denominato FinTral-DPO-T&R, dimostra prestazioni eccezionali in modalità zero-shot. Supera ChatGPT-3.5 in tutti i task e supera GPT-4 in cinque su nove task, segnando un progresso significativo nella tecnologia finanziaria basata sull'intelligenza artificiale. Dimostriamo inoltre che FinTral ha il potenziale per eccellere nell'analisi in tempo reale e nel processo decisionale in diversi contesti finanziari.

English

We introduce FinTral, a suite of state-of-the-art multimodal large language models (LLMs) built upon the Mistral-7b model and tailored for financial analysis. FinTral integrates textual, numerical, tabular, and image data. We enhance FinTral with domain-specific pretraining, instruction fine-tuning, and RLAIF training by exploiting a large collection of textual and visual datasets we curate for this work. We also introduce an extensive benchmark featuring nine tasks and 25 datasets for evaluation, including hallucinations in the financial domain. Our FinTral model trained with direct preference optimization employing advanced Tools and Retrieval methods, dubbed FinTral-DPO-T&R, demonstrates an exceptional zero-shot performance. It outperforms ChatGPT-3.5 in all tasks and surpasses GPT-4 in five out of nine tasks, marking a significant advancement in AI-driven financial technology. We also demonstrate that FinTral has the potential to excel in real-time analysis and decision-making in diverse financial contexts.