FinTral: Uma Família de Modelos de Linguagem Multimodais Financeiros de Grande Escala no Nível do GPT-4

FinTral: A Family of GPT-4 Level Multimodal Financial Large Language Models

February 16, 2024

Autores: Gagan Bhatia, El Moatez Billah Nagoudi, Hasan Cavusoglu, Muhammad Abdul-Mageed

cs.AI

Resumo

Apresentamos o FinTral, um conjunto de modelos de linguagem multimodal (LLMs) de última geração, construído sobre o modelo Mistral-7b e adaptado para análise financeira. O FinTral integra dados textuais, numéricos, tabulares e de imagem. Aprimoramos o FinTral com pré-treinamento específico do domínio, ajuste fino por instrução e treinamento RLAIF, utilizando uma extensa coleção de conjuntos de dados textuais e visuais que curamos para este trabalho. Também introduzimos um benchmark abrangente, composto por nove tarefas e 25 conjuntos de dados para avaliação, incluindo alucinações no domínio financeiro. Nosso modelo FinTral treinado com otimização direta de preferência, empregando métodos avançados de Ferramentas e Recuperação, denominado FinTral-DPO-T&R, demonstra um desempenho excepcional em zero-shot. Ele supera o ChatGPT-3.5 em todas as tarefas e ultrapassa o GPT-4 em cinco das nove tarefas, marcando um avanço significativo na tecnologia financeira impulsionada por IA. Também demonstramos que o FinTral tem potencial para se destacar em análises em tempo real e tomada de decisão em diversos contextos financeiros.

English

We introduce FinTral, a suite of state-of-the-art multimodal large language models (LLMs) built upon the Mistral-7b model and tailored for financial analysis. FinTral integrates textual, numerical, tabular, and image data. We enhance FinTral with domain-specific pretraining, instruction fine-tuning, and RLAIF training by exploiting a large collection of textual and visual datasets we curate for this work. We also introduce an extensive benchmark featuring nine tasks and 25 datasets for evaluation, including hallucinations in the financial domain. Our FinTral model trained with direct preference optimization employing advanced Tools and Retrieval methods, dubbed FinTral-DPO-T&R, demonstrates an exceptional zero-shot performance. It outperforms ChatGPT-3.5 in all tasks and surpasses GPT-4 in five out of nine tasks, marking a significant advancement in AI-driven financial technology. We also demonstrate that FinTral has the potential to excel in real-time analysis and decision-making in diverse financial contexts.