Fin-R1: Um Modelo de Linguagem de Grande Escala para Raciocínio Financeiro através de Aprendizado por Reforço

Fin-R1: A Large Language Model for Financial Reasoning through Reinforcement Learning

March 20, 2025

Autores: Zhaowei Liu, Xin Guo, Fangqi Lou, Lingfeng Zeng, Jinyi Niu, Zixuan Wang, Jiajie Xu, Weige Cai, Ziwei Yang, Xueqian Zhao, Chao Li, Sheng Xu, Dezhi Chen, Yun Chen, Zuo Bai, Liwen Zhang

cs.AI

Resumo

Os modelos de linguagem de grande escala com capacidade de raciocínio estão evoluindo rapidamente em diversos domínios. No entanto, suas habilidades no tratamento de tarefas financeiras complexas ainda requerem uma exploração aprofundada. Neste artigo, apresentamos o Fin-R1, um modelo de linguagem de grande escala com capacidade de raciocínio especificamente projetado para o setor financeiro. O Fin-R1 é construído usando uma arquitetura de dois estágios, aproveitando um conjunto de dados de raciocínio financeiro destilado e processado com base no DeepSeek-R1. Por meio de ajuste fino supervisionado (SFT) e treinamento com aprendizado por reforço (RL), ele demonstra um desempenho próximo ao do DeepSeek-R1, com um tamanho de parâmetros de 7 bilhões, em uma variedade de tarefas de raciocínio financeiro. Ele alcança o estado da arte (SOTA) nas tarefas FinQA e ConvFinQA entre os modelos de linguagem de grande escala avaliados, superando modelos maiores em outras tarefas também. O Fin-R1 exibe fortes capacidades de raciocínio e tomada de decisão, fornecendo soluções para diversos problemas encontrados no domínio financeiro. Nosso código está disponível em https://github.com/SUFE-AIFLM-Lab/Fin-R1.

English

Reasoning large language models are rapidly evolving across various domains. However, their capabilities in handling complex financial tasks still require in-depth exploration. In this paper, we introduce Fin-R1, a reasoning large language model specifically designed for the financial sector. Fin-R1 is built using a two-stage architecture, leveraging a financial reasoning dataset distilled and processed based on DeepSeek-R1. Through supervised fine-tuning (SFT) and reinforcement learning (RL) training, it demonstrates performance close to DeepSeek-R1 with a parameter size of 7 billion across a range of financial reasoning tasks. It achieves the state-of-the-art (SOTA) in the FinQA and ConvFinQA tasks between those LLMs in our evaluation, surpassing larger models in other tasks as well. Fin-R1 showcases strong reasoning and decision-making capabilities, providing solutions to various problems encountered in the financial domain. Our code is available at https://github.com/SUFE-AIFLM-Lab/Fin-R1.