Fin-R1 : Un modèle de langage de grande taille pour le raisonnement financier par apprentissage par renforcement

Fin-R1: A Large Language Model for Financial Reasoning through Reinforcement Learning

March 20, 2025

Auteurs: Zhaowei Liu, Xin Guo, Fangqi Lou, Lingfeng Zeng, Jinyi Niu, Zixuan Wang, Jiajie Xu, Weige Cai, Ziwei Yang, Xueqian Zhao, Chao Li, Sheng Xu, Dezhi Chen, Yun Chen, Zuo Bai, Liwen Zhang

cs.AI

Résumé

Les modèles de langage à grande échelle (LLM) dotés de capacités de raisonnement évoluent rapidement dans divers domaines. Cependant, leurs aptitudes à gérer des tâches financières complexes nécessitent encore une exploration approfondie. Dans cet article, nous présentons Fin-R1, un modèle de langage à grande échelle spécialement conçu pour le secteur financier. Fin-R1 est construit selon une architecture en deux étapes, exploitant un ensemble de données de raisonnement financier distillé et traité à partir de DeepSeek-R1. Grâce à un réglage fin supervisé (SFT) et à un apprentissage par renforcement (RL), il démontre des performances proches de celles de DeepSeek-R1 avec une taille de paramètres de 7 milliards sur une gamme de tâches de raisonnement financier. Il atteint l'état de l'art (SOTA) dans les tâches FinQA et ConvFinQA parmi les LLM évalués, surpassant également des modèles plus volumineux dans d'autres tâches. Fin-R1 montre de solides capacités de raisonnement et de prise de décision, offrant des solutions à divers problèmes rencontrés dans le domaine financier. Notre code est disponible à l'adresse suivante : https://github.com/SUFE-AIFLM-Lab/Fin-R1.

English

Reasoning large language models are rapidly evolving across various domains. However, their capabilities in handling complex financial tasks still require in-depth exploration. In this paper, we introduce Fin-R1, a reasoning large language model specifically designed for the financial sector. Fin-R1 is built using a two-stage architecture, leveraging a financial reasoning dataset distilled and processed based on DeepSeek-R1. Through supervised fine-tuning (SFT) and reinforcement learning (RL) training, it demonstrates performance close to DeepSeek-R1 with a parameter size of 7 billion across a range of financial reasoning tasks. It achieves the state-of-the-art (SOTA) in the FinQA and ConvFinQA tasks between those LLMs in our evaluation, surpassing larger models in other tasks as well. Fin-R1 showcases strong reasoning and decision-making capabilities, providing solutions to various problems encountered in the financial domain. Our code is available at https://github.com/SUFE-AIFLM-Lab/Fin-R1.