Fin-R1: Een Taalmodel op Schaal voor Financieel Redeneren via Reinforcement Learning

Fin-R1: A Large Language Model for Financial Reasoning through Reinforcement Learning

March 20, 2025

Auteurs: Zhaowei Liu, Xin Guo, Fangqi Lou, Lingfeng Zeng, Jinyi Niu, Zixuan Wang, Jiajie Xu, Weige Cai, Ziwei Yang, Xueqian Zhao, Chao Li, Sheng Xu, Dezhi Chen, Yun Chen, Zuo Bai, Liwen Zhang

cs.AI

Samenvatting

Redenerende grote taalmodellen evolueren snel in verschillende domeinen. Hun mogelijkheden om complexe financiële taken aan te pakken, vereisen echter nog diepgaand onderzoek. In dit artikel introduceren we Fin-R1, een redenerend groot taalmodel dat specifiek is ontworpen voor de financiële sector. Fin-R1 is gebouwd met behulp van een tweestapsarchitectuur, waarbij gebruik wordt gemaakt van een financieel redeneerdataset die is gedestilleerd en verwerkt op basis van DeepSeek-R1. Door middel van supervised fine-tuning (SFT) en reinforcement learning (RL)-training demonstreert het prestaties die dicht bij die van DeepSeek-R1 liggen, met een parameterschaal van 7 miljard, over een reeks financiële redeneertaken. Het behaalt de state-of-the-art (SOTA) in de FinQA- en ConvFinQA-taken tussen de geëvalueerde LLM's, en overtreft ook grotere modellen in andere taken. Fin-R1 toont sterke redeneer- en besluitvormingscapaciteiten en biedt oplossingen voor diverse problemen die in het financiële domein worden aangetroffen. Onze code is beschikbaar op https://github.com/SUFE-AIFLM-Lab/Fin-R1.

English

Reasoning large language models are rapidly evolving across various domains. However, their capabilities in handling complex financial tasks still require in-depth exploration. In this paper, we introduce Fin-R1, a reasoning large language model specifically designed for the financial sector. Fin-R1 is built using a two-stage architecture, leveraging a financial reasoning dataset distilled and processed based on DeepSeek-R1. Through supervised fine-tuning (SFT) and reinforcement learning (RL) training, it demonstrates performance close to DeepSeek-R1 with a parameter size of 7 billion across a range of financial reasoning tasks. It achieves the state-of-the-art (SOTA) in the FinQA and ConvFinQA tasks between those LLMs in our evaluation, surpassing larger models in other tasks as well. Fin-R1 showcases strong reasoning and decision-making capabilities, providing solutions to various problems encountered in the financial domain. Our code is available at https://github.com/SUFE-AIFLM-Lab/Fin-R1.