Fin-R1: Un modelo de lenguaje a gran escala para el razonamiento financiero mediante aprendizaje por refuerzo

Fin-R1: A Large Language Model for Financial Reasoning through Reinforcement Learning

March 20, 2025

Autores: Zhaowei Liu, Xin Guo, Fangqi Lou, Lingfeng Zeng, Jinyi Niu, Zixuan Wang, Jiajie Xu, Weige Cai, Ziwei Yang, Xueqian Zhao, Chao Li, Sheng Xu, Dezhi Chen, Yun Chen, Zuo Bai, Liwen Zhang

cs.AI

Resumen

Los modelos de lenguaje de razonamiento a gran escala están evolucionando rápidamente en diversos dominios. Sin embargo, sus capacidades para manejar tareas financieras complejas aún requieren una exploración en profundidad. En este artículo, presentamos Fin-R1, un modelo de lenguaje de razonamiento diseñado específicamente para el sector financiero. Fin-R1 se construye utilizando una arquitectura de dos etapas, aprovechando un conjunto de datos de razonamiento financiero destilado y procesado basado en DeepSeek-R1. A través de ajuste fino supervisado (SFT) y entrenamiento con aprendizaje por refuerzo (RL), demuestra un rendimiento cercano a DeepSeek-R1 con un tamaño de parámetros de 7 mil millones en una variedad de tareas de razonamiento financiero. Logra el estado del arte (SOTA) en las tareas FinQA y ConvFinQA entre los modelos de lenguaje evaluados, superando también a modelos más grandes en otras tareas. Fin-R1 muestra fuertes capacidades de razonamiento y toma de decisiones, proporcionando soluciones a diversos problemas encontrados en el ámbito financiero. Nuestro código está disponible en https://github.com/SUFE-AIFLM-Lab/Fin-R1.

English

Reasoning large language models are rapidly evolving across various domains. However, their capabilities in handling complex financial tasks still require in-depth exploration. In this paper, we introduce Fin-R1, a reasoning large language model specifically designed for the financial sector. Fin-R1 is built using a two-stage architecture, leveraging a financial reasoning dataset distilled and processed based on DeepSeek-R1. Through supervised fine-tuning (SFT) and reinforcement learning (RL) training, it demonstrates performance close to DeepSeek-R1 with a parameter size of 7 billion across a range of financial reasoning tasks. It achieves the state-of-the-art (SOTA) in the FinQA and ConvFinQA tasks between those LLMs in our evaluation, surpassing larger models in other tasks as well. Fin-R1 showcases strong reasoning and decision-making capabilities, providing solutions to various problems encountered in the financial domain. Our code is available at https://github.com/SUFE-AIFLM-Lab/Fin-R1.