FinTral: Eine Familie von GPT-4-Level Multimodalen Finanz-Großsprachmodellen

FinTral: A Family of GPT-4 Level Multimodal Financial Large Language Models

February 16, 2024

papers.authors: Gagan Bhatia, El Moatez Billah Nagoudi, Hasan Cavusoglu, Muhammad Abdul-Mageed

cs.AI

papers.abstract

Wir stellen FinTral vor, eine Suite von hochmodernen multimodalen Large Language Models (LLMs), die auf dem Mistral-7b-Modell basieren und speziell für die Finanzanalyse entwickelt wurden. FinTral integriert Text-, numerische, tabellarische und Bilddaten. Wir verbessern FinTral durch domänenspezifisches Pre-Training, Instruction Fine-Tuning und RLAIF-Training, indem wir eine umfangreiche Sammlung von Text- und Bilddatensätzen nutzen, die wir für diese Arbeit zusammengestellt haben. Wir führen außerdem einen umfangreichen Benchmark ein, der neun Aufgaben und 25 Datensätze zur Bewertung umfasst, einschließlich Halluzinationen im Finanzbereich. Unser FinTral-Modell, das mit Direct Preference Optimization unter Einsatz fortschrittlicher Tools und Retrieval-Methoden trainiert wurde und als FinTral-DPO-T&R bezeichnet wird, zeigt eine außergewöhnliche Zero-Shot-Leistung. Es übertrifft ChatGPT-3.5 in allen Aufgaben und übertrifft GPT-4 in fünf von neun Aufgaben, was einen bedeutenden Fortschritt in der KI-gestützten Finanztechnologie darstellt. Wir zeigen auch, dass FinTral das Potenzial hat, in der Echtzeitanalyse und Entscheidungsfindung in verschiedenen finanziellen Kontexten hervorragende Leistungen zu erbringen.

English

We introduce FinTral, a suite of state-of-the-art multimodal large language models (LLMs) built upon the Mistral-7b model and tailored for financial analysis. FinTral integrates textual, numerical, tabular, and image data. We enhance FinTral with domain-specific pretraining, instruction fine-tuning, and RLAIF training by exploiting a large collection of textual and visual datasets we curate for this work. We also introduce an extensive benchmark featuring nine tasks and 25 datasets for evaluation, including hallucinations in the financial domain. Our FinTral model trained with direct preference optimization employing advanced Tools and Retrieval methods, dubbed FinTral-DPO-T&R, demonstrates an exceptional zero-shot performance. It outperforms ChatGPT-3.5 in all tasks and surpasses GPT-4 in five out of nine tasks, marking a significant advancement in AI-driven financial technology. We also demonstrate that FinTral has the potential to excel in real-time analysis and decision-making in diverse financial contexts.