FinTral: GPT-4 수준의 다중모달 금융 대형 언어 모델 패밀리

초록

우리는 금융 분석에 특화된 Mistral-7b 모델을 기반으로 구축된 최첨단 멀티모달 대형 언어 모델(LLM) 제품군인 FinTral을 소개합니다. FinTral은 텍스트, 수치, 표, 이미지 데이터를 통합합니다. 본 연구를 위해 구축한 방대한 텍스트 및 시각적 데이터셋을 활용하여 도메인 특화 사전 학습, 지시 미세 조정, RLAIF(Reinforcement Learning from AI Feedback) 훈련을 통해 FinTral을 강화했습니다. 또한, 금융 영역에서의 환각 현상을 포함한 9개 작업과 25개 데이터셋으로 구성된 포괄적인 벤치마크를 도입했습니다. 고급 도구 및 검색 방법을 활용한 직접 선호 최적화(Direct Preference Optimization)로 훈련된 FinTral 모델, 즉 FinTral-DPO-T&R은 탁월한 제로샷 성능을 보여줍니다. 이 모델은 모든 작업에서 ChatGPT-3.5를 능가하며, 9개 작업 중 5개에서 GPT-4를 앞지르는 등 AI 기반 금융 기술의 중요한 발전을 이뤘습니다. 또한 FinTral이 다양한 금융 맥락에서 실시간 분석 및 의사결정에서 뛰어난 잠재력을 가지고 있음을 입증했습니다.

English

We introduce FinTral, a suite of state-of-the-art multimodal large language models (LLMs) built upon the Mistral-7b model and tailored for financial analysis. FinTral integrates textual, numerical, tabular, and image data. We enhance FinTral with domain-specific pretraining, instruction fine-tuning, and RLAIF training by exploiting a large collection of textual and visual datasets we curate for this work. We also introduce an extensive benchmark featuring nine tasks and 25 datasets for evaluation, including hallucinations in the financial domain. Our FinTral model trained with direct preference optimization employing advanced Tools and Retrieval methods, dubbed FinTral-DPO-T&R, demonstrates an exceptional zero-shot performance. It outperforms ChatGPT-3.5 in all tasks and surpasses GPT-4 in five out of nine tasks, marking a significant advancement in AI-driven financial technology. We also demonstrate that FinTral has the potential to excel in real-time analysis and decision-making in diverse financial contexts.

FinTral: GPT-4 수준의 다중모달 금융 대형 언어 모델 패밀리

FinTral: A Family of GPT-4 Level Multimodal Financial Large Language Models

초록

Support