Fin-R1: 강화 학습을 통한 금융 추론을 위한 대규모 언어 모델

Fin-R1: A Large Language Model for Financial Reasoning through Reinforcement Learning

March 20, 2025

저자: Zhaowei Liu, Xin Guo, Fangqi Lou, Lingfeng Zeng, Jinyi Niu, Zixuan Wang, Jiajie Xu, Weige Cai, Ziwei Yang, Xueqian Zhao, Chao Li, Sheng Xu, Dezhi Chen, Yun Chen, Zuo Bai, Liwen Zhang

cs.AI

초록

추론 대형 언어 모델(LLM)은 다양한 분야에서 빠르게 진화하고 있습니다. 그러나 복잡한 금융 업무를 처리하는 데 있어서의 능력은 여전히 심도 있는 탐구가 필요합니다. 본 논문에서는 금융 분야를 위해 특별히 설계된 추론 대형 언어 모델인 Fin-R1을 소개합니다. Fin-R1은 DeepSeek-R1을 기반으로 정제 및 처리된 금융 추론 데이터셋을 활용하여 2단계 아키텍처로 구축되었습니다. 지도 미세 조정(SFT)과 강화 학습(RL) 훈련을 통해, Fin-R1은 70억 개의 파라미터 규모로 다양한 금융 추론 과제에서 DeepSeek-R1에 근접한 성능을 보여줍니다. 평가에서 FinQA와 ConvFinQA 과제에서 평가된 다른 LLM들 중 최신 기술 수준(SOTA)을 달성했으며, 다른 과제에서도 더 큰 모델들을 능가했습니다. Fin-R1은 강력한 추론 및 의사결정 능력을 보여주며, 금융 분야에서 직면하는 다양한 문제에 대한 해결책을 제공합니다. 저희 코드는 https://github.com/SUFE-AIFLM-Lab/Fin-R1에서 확인할 수 있습니다.

English

Reasoning large language models are rapidly evolving across various domains. However, their capabilities in handling complex financial tasks still require in-depth exploration. In this paper, we introduce Fin-R1, a reasoning large language model specifically designed for the financial sector. Fin-R1 is built using a two-stage architecture, leveraging a financial reasoning dataset distilled and processed based on DeepSeek-R1. Through supervised fine-tuning (SFT) and reinforcement learning (RL) training, it demonstrates performance close to DeepSeek-R1 with a parameter size of 7 billion across a range of financial reasoning tasks. It achieves the state-of-the-art (SOTA) in the FinQA and ConvFinQA tasks between those LLMs in our evaluation, surpassing larger models in other tasks as well. Fin-R1 showcases strong reasoning and decision-making capabilities, providing solutions to various problems encountered in the financial domain. Our code is available at https://github.com/SUFE-AIFLM-Lab/Fin-R1.