FinTral: Семейство мультимодальных финансовых больших языковых моделей уровня GPT-4

FinTral: A Family of GPT-4 Level Multimodal Financial Large Language Models

February 16, 2024

Авторы: Gagan Bhatia, El Moatez Billah Nagoudi, Hasan Cavusoglu, Muhammad Abdul-Mageed

cs.AI

Аннотация

Мы представляем FinTral — набор современных мультимодальных больших языковых моделей (LLM), созданных на основе модели Mistral-7b и адаптированных для финансового анализа. FinTral интегрирует текстовые, числовые, табличные и графические данные. Мы улучшили FinTral с помощью предметно-ориентированного предобучения, тонкой настройки на инструкциях и обучения с использованием RLAIF, используя обширную коллекцию текстовых и визуальных наборов данных, которые мы подготовили для этой работы. Мы также представляем расширенный бенчмарк, включающий девять задач и 25 наборов данных для оценки, в том числе анализ галлюцинаций в финансовой области. Наша модель FinTral, обученная с оптимизацией прямых предпочтений с использованием передовых инструментов и методов поиска, названная FinTral-DPO-T&R, демонстрирует исключительную производительность в условиях zero-shot. Она превосходит ChatGPT-3.5 во всех задачах и опережает GPT-4 в пяти из девяти задач, что знаменует значительный прогресс в области искусственного интеллекта для финансовых технологий. Мы также показываем, что FinTral обладает потенциалом для эффективного анализа в реальном времени и принятия решений в различных финансовых контекстах.

English

We introduce FinTral, a suite of state-of-the-art multimodal large language models (LLMs) built upon the Mistral-7b model and tailored for financial analysis. FinTral integrates textual, numerical, tabular, and image data. We enhance FinTral with domain-specific pretraining, instruction fine-tuning, and RLAIF training by exploiting a large collection of textual and visual datasets we curate for this work. We also introduce an extensive benchmark featuring nine tasks and 25 datasets for evaluation, including hallucinations in the financial domain. Our FinTral model trained with direct preference optimization employing advanced Tools and Retrieval methods, dubbed FinTral-DPO-T&R, demonstrates an exceptional zero-shot performance. It outperforms ChatGPT-3.5 in all tasks and surpasses GPT-4 in five out of nine tasks, marking a significant advancement in AI-driven financial technology. We also demonstrate that FinTral has the potential to excel in real-time analysis and decision-making in diverse financial contexts.