FinTral : Une famille de modèles de langage financiers multimodaux de grande envergure de niveau GPT-4

FinTral: A Family of GPT-4 Level Multimodal Financial Large Language Models

February 16, 2024

papers.authors: Gagan Bhatia, El Moatez Billah Nagoudi, Hasan Cavusoglu, Muhammad Abdul-Mageed

cs.AI

papers.abstract

Nous présentons FinTral, une suite de modèles de langage multimodal de pointe (LLMs) basée sur le modèle Mistral-7b et spécialement conçue pour l'analyse financière. FinTral intègre des données textuelles, numériques, tabulaires et visuelles. Nous enrichissons FinTral par un pré-entraînement spécifique au domaine, un ajustement fin par instruction et un entraînement RLAIF en exploitant une vaste collection de jeux de données textuels et visuels que nous avons soigneusement sélectionnés pour ce travail. Nous introduisons également un benchmark complet comprenant neuf tâches et 25 jeux de données pour l'évaluation, y compris les hallucinations dans le domaine financier. Notre modèle FinTral entraîné avec l'optimisation directe des préférences en utilisant des outils et des méthodes de recherche avancés, baptisé FinTral-DPO-T&R, démontre une performance exceptionnelle en zero-shot. Il surpasse ChatGPT-3.5 dans toutes les tâches et dépasse GPT-4 dans cinq des neuf tâches, marquant une avancée significative dans la technologie financière pilotée par l'IA. Nous montrons également que FinTral a le potentiel d'exceller dans l'analyse en temps réel et la prise de décision dans divers contextes financiers.

English

We introduce FinTral, a suite of state-of-the-art multimodal large language models (LLMs) built upon the Mistral-7b model and tailored for financial analysis. FinTral integrates textual, numerical, tabular, and image data. We enhance FinTral with domain-specific pretraining, instruction fine-tuning, and RLAIF training by exploiting a large collection of textual and visual datasets we curate for this work. We also introduce an extensive benchmark featuring nine tasks and 25 datasets for evaluation, including hallucinations in the financial domain. Our FinTral model trained with direct preference optimization employing advanced Tools and Retrieval methods, dubbed FinTral-DPO-T&R, demonstrates an exceptional zero-shot performance. It outperforms ChatGPT-3.5 in all tasks and surpasses GPT-4 in five out of nine tasks, marking a significant advancement in AI-driven financial technology. We also demonstrate that FinTral has the potential to excel in real-time analysis and decision-making in diverse financial contexts.