Fin-R1: 強化学習による金融推論のための大規模言語モデル

Fin-R1: A Large Language Model for Financial Reasoning through Reinforcement Learning

March 20, 2025

著者: Zhaowei Liu, Xin Guo, Fangqi Lou, Lingfeng Zeng, Jinyi Niu, Zixuan Wang, Jiajie Xu, Weige Cai, Ziwei Yang, Xueqian Zhao, Chao Li, Sheng Xu, Dezhi Chen, Yun Chen, Zuo Bai, Liwen Zhang

cs.AI

要旨

推論能力を備えた大規模言語モデルは、様々な領域で急速に進化を遂げています。しかし、複雑な金融タスクを扱う能力については、まだ深い探求が必要です。本論文では、金融分野に特化して設計された推論大規模言語モデルFin-R1を紹介します。Fin-R1は、DeepSeek-R1に基づいて蒸留・処理された金融推論データセットを活用した2段階アーキテクチャで構築されています。教師ありファインチューニング（SFT）と強化学習（RL）によるトレーニングを通じて、70億パラメータの規模でありながら、DeepSeek-R1に近い性能を一連の金融推論タスクで示します。評価対象の大規模言語モデルの中で、FinQAとConvFinQAタスクにおいて最先端（SOTA）を達成し、他のタスクでもより大規模なモデルを凌駕しています。Fin-R1は強力な推論と意思決定能力を示し、金融領域で遭遇する様々な問題に対する解決策を提供します。私たちのコードはhttps://github.com/SUFE-AIFLM-Lab/Fin-R1で公開されています。

English

Reasoning large language models are rapidly evolving across various domains. However, their capabilities in handling complex financial tasks still require in-depth exploration. In this paper, we introduce Fin-R1, a reasoning large language model specifically designed for the financial sector. Fin-R1 is built using a two-stage architecture, leveraging a financial reasoning dataset distilled and processed based on DeepSeek-R1. Through supervised fine-tuning (SFT) and reinforcement learning (RL) training, it demonstrates performance close to DeepSeek-R1 with a parameter size of 7 billion across a range of financial reasoning tasks. It achieves the state-of-the-art (SOTA) in the FinQA and ConvFinQA tasks between those LLMs in our evaluation, surpassing larger models in other tasks as well. Fin-R1 showcases strong reasoning and decision-making capabilities, providing solutions to various problems encountered in the financial domain. Our code is available at https://github.com/SUFE-AIFLM-Lab/Fin-R1.