Fin-R1: Крупная языковая модель для финансового анализа с использованием обучения с подкреплением

Fin-R1: A Large Language Model for Financial Reasoning through Reinforcement Learning

March 20, 2025

Авторы: Zhaowei Liu, Xin Guo, Fangqi Lou, Lingfeng Zeng, Jinyi Niu, Zixuan Wang, Jiajie Xu, Weige Cai, Ziwei Yang, Xueqian Zhao, Chao Li, Sheng Xu, Dezhi Chen, Yun Chen, Zuo Bai, Liwen Zhang

cs.AI

Аннотация

Модели языкового мышления крупного масштаба быстро развиваются в различных областях. Однако их способности в решении сложных финансовых задач все еще требуют глубокого изучения. В данной статье мы представляем Fin-R1 — модель языкового мышления, специально разработанную для финансового сектора. Fin-R1 построена на основе двухэтапной архитектуры, используя набор данных для финансового рассуждения, обработанный и подготовленный на основе DeepSeek-R1. Благодаря обучению с учителем (SFT) и обучению с подкреплением (RL), она демонстрирует производительность, близкую к DeepSeek-R1, при размере параметров в 7 миллиардов, в широком спектре задач финансового рассуждения. Fin-R1 достигает наилучших результатов (SOTA) в задачах FinQA и ConvFinQA среди оцениваемых нами языковых моделей, превосходя более крупные модели и в других задачах. Fin-R1 демонстрирует мощные способности к рассуждению и принятию решений, предлагая решения для различных проблем, возникающих в финансовой сфере. Наш код доступен по адресу https://github.com/SUFE-AIFLM-Lab/Fin-R1.

English

Reasoning large language models are rapidly evolving across various domains. However, their capabilities in handling complex financial tasks still require in-depth exploration. In this paper, we introduce Fin-R1, a reasoning large language model specifically designed for the financial sector. Fin-R1 is built using a two-stage architecture, leveraging a financial reasoning dataset distilled and processed based on DeepSeek-R1. Through supervised fine-tuning (SFT) and reinforcement learning (RL) training, it demonstrates performance close to DeepSeek-R1 with a parameter size of 7 billion across a range of financial reasoning tasks. It achieves the state-of-the-art (SOTA) in the FinQA and ConvFinQA tasks between those LLMs in our evaluation, surpassing larger models in other tasks as well. Fin-R1 showcases strong reasoning and decision-making capabilities, providing solutions to various problems encountered in the financial domain. Our code is available at https://github.com/SUFE-AIFLM-Lab/Fin-R1.