FinTral: Una familia de modelos de lenguaje multimodal financiero de gran escala al nivel de GPT-4

FinTral: A Family of GPT-4 Level Multimodal Financial Large Language Models

February 16, 2024

Autores: Gagan Bhatia, El Moatez Billah Nagoudi, Hasan Cavusoglu, Muhammad Abdul-Mageed

cs.AI

Resumen

Presentamos FinTral, una suite de modelos de lenguaje multimodal (LLM) de vanguardia construida sobre el modelo Mistral-7b y adaptada para el análisis financiero. FinTral integra datos textuales, numéricos, tabulares e imágenes. Mejoramos FinTral con preentrenamiento específico del dominio, ajuste fino mediante instrucciones y entrenamiento RLAIF, aprovechando una amplia colección de conjuntos de datos textuales y visuales que hemos curado para este trabajo. También introducimos un extenso benchmark que incluye nueve tareas y 25 conjuntos de datos para evaluación, incluyendo alucinaciones en el dominio financiero. Nuestro modelo FinTral entrenado con optimización directa de preferencias empleando métodos avanzados de Herramientas y Recuperación, denominado FinTral-DPO-T&R, demuestra un rendimiento excepcional en zero-shot. Supera a ChatGPT-3.5 en todas las tareas y supera a GPT-4 en cinco de las nueve tareas, marcando un avance significativo en la tecnología financiera impulsada por IA. También demostramos que FinTral tiene el potencial de sobresalir en el análisis en tiempo real y la toma de decisiones en diversos contextos financieros.

English

We introduce FinTral, a suite of state-of-the-art multimodal large language models (LLMs) built upon the Mistral-7b model and tailored for financial analysis. FinTral integrates textual, numerical, tabular, and image data. We enhance FinTral with domain-specific pretraining, instruction fine-tuning, and RLAIF training by exploiting a large collection of textual and visual datasets we curate for this work. We also introduce an extensive benchmark featuring nine tasks and 25 datasets for evaluation, including hallucinations in the financial domain. Our FinTral model trained with direct preference optimization employing advanced Tools and Retrieval methods, dubbed FinTral-DPO-T&R, demonstrates an exceptional zero-shot performance. It outperforms ChatGPT-3.5 in all tasks and surpasses GPT-4 in five out of nine tasks, marking a significant advancement in AI-driven financial technology. We also demonstrate that FinTral has the potential to excel in real-time analysis and decision-making in diverse financial contexts.