FinTral: Een Familie van GPT-4 Niveau Multimodale Financiële Grote Taalmodellen

FinTral: A Family of GPT-4 Level Multimodal Financial Large Language Models

February 16, 2024

Auteurs: Gagan Bhatia, El Moatez Billah Nagoudi, Hasan Cavusoglu, Muhammad Abdul-Mageed

cs.AI

Samenvatting

We introduceren FinTral, een suite van state-of-the-art multimodale grote taalmodellen (LLMs) gebaseerd op het Mistral-7b-model en specifiek ontworpen voor financiële analyse. FinTral integreert tekstuele, numerieke, tabelvormige en beeldgegevens. We versterken FinTral met domeinspecifieke voorafgaande training, instructie-finetuning en RLAIF-training door gebruik te maken van een grote verzameling tekstuele en visuele datasets die we voor dit werk hebben samengesteld. We introduceren ook een uitgebreide benchmark met negen taken en 25 datasets voor evaluatie, inclusief hallucinaties in het financiële domein. Ons FinTral-model, getraind met directe voorkeursoptimalisatie met behulp van geavanceerde Tools en Retrieval-methoden, genaamd FinTral-DPO-T&R, toont een uitzonderlijke zero-shot prestatie. Het overtreft ChatGPT-3.5 in alle taken en overstijgt GPT-4 in vijf van de negen taken, wat een significante vooruitgang markeert in AI-gestuurde financiële technologie. We tonen ook aan dat FinTral het potentieel heeft om uit te blinken in real-time analyse en besluitvorming in diverse financiële contexten.

English

We introduce FinTral, a suite of state-of-the-art multimodal large language models (LLMs) built upon the Mistral-7b model and tailored for financial analysis. FinTral integrates textual, numerical, tabular, and image data. We enhance FinTral with domain-specific pretraining, instruction fine-tuning, and RLAIF training by exploiting a large collection of textual and visual datasets we curate for this work. We also introduce an extensive benchmark featuring nine tasks and 25 datasets for evaluation, including hallucinations in the financial domain. Our FinTral model trained with direct preference optimization employing advanced Tools and Retrieval methods, dubbed FinTral-DPO-T&R, demonstrates an exceptional zero-shot performance. It outperforms ChatGPT-3.5 in all tasks and surpasses GPT-4 in five out of nine tasks, marking a significant advancement in AI-driven financial technology. We also demonstrate that FinTral has the potential to excel in real-time analysis and decision-making in diverse financial contexts.