FinCoT: 전문가의 금융 추론에 기반한 사고 사슬의 토대 마련

FinCoT: Grounding Chain-of-Thought in Expert Financial Reasoning

June 19, 2025

저자: Natapong Nitarach, Warit Sirichotedumrong, Panop Pitchayarthorn, Pittawat Taveekitworachai, Potsawee Manakul, Kunat Pipatanakul

cs.AI

초록

본 논문은 도메인 전문가의 금융 추론에서 얻은 통찰을 통합하여 대규모 언어 모델의 추론 과정을 안내하는 구조화된 사고의 연쇄(Chain-of-Thought, CoT) 프롬프팅 접근법인 FinCoT를 제안한다. 우리는 FinNLP에서 세 가지 주요 프롬프팅 스타일이 있음을 확인했다: (1) 표준 프롬프팅--제로샷 프롬프팅; (2) 비구조화된 CoT--태그 사용과 같은 명시적 추론 구조 없이 이루어지는 CoT 프롬프팅; (3) 구조화된 CoT 프롬프팅--구조화된 추론 단계를 정의하는 명시적 지시나 예시를 포함한 CoT 프롬프팅. 이전의 FinNLP 연구는 주로 표준 또는 비구조화된 CoT 프롬프팅을 중심으로 프롬프트 엔지니어링에 초점을 맞추었다. 그러나 구조화된 CoT 프롬프팅은 선행 연구에서 제한적으로 다루어졌다. 더욱이, 구조화된 CoT 프롬프팅에서의 추론 구조 설계는 종종 비도메인 전문가의 경험적 방법에 기반을 두고 있었다. 본 연구에서는 FinNLP에서 각 프롬프팅 접근법을 조사하고, 세 가지 주요 프롬프팅 스타일과 FinCoT를 10개의 금융 도메인에 걸친 CFA 스타일 질문에 대해 평가한다. 우리는 FinCoT가 성능을 63.2%에서 80.5%로, Qwen-2.5-7B-Instruct의 경우 69.7%에서 74.2%로 향상시키는 동시에 구조화된 CoT 프롬프팅과 비교하여 생성된 토큰 수를 8분의 1로 줄이는 것을 관찰했다. 우리의 연구 결과는 도메인에 맞춰 구조화된 프롬프트가 성능을 개선하고 추론 비용을 절감할 뿐만 아니라 더 해석 가능하고 전문가의 추론과 일치하는 추론 과정을 제공한다는 것을 보여준다.

English

This paper presents FinCoT, a structured chain-of-thought (CoT) prompting approach that incorporates insights from domain-specific expert financial reasoning to guide the reasoning traces of large language models. We investigate that there are three main prompting styles in FinNLP: (1) standard prompting--zero-shot prompting; (2) unstructured CoT--CoT prompting without an explicit reasoning structure, such as the use of tags; and (3) structured CoT prompting--CoT prompting with explicit instructions or examples that define structured reasoning steps. Previously, FinNLP has primarily focused on prompt engineering with either standard or unstructured CoT prompting. However, structured CoT prompting has received limited attention in prior work. Furthermore, the design of reasoning structures in structured CoT prompting is often based on heuristics from non-domain experts. In this study, we investigate each prompting approach in FinNLP. We evaluate the three main prompting styles and FinCoT on CFA-style questions spanning ten financial domains. We observe that FinCoT improves performance from 63.2% to 80.5% and Qwen-2.5-7B-Instruct from 69.7% to 74.2%, while reducing generated tokens eight-fold compared to structured CoT prompting. Our findings show that domain-aligned structured prompts not only improve performance and reduce inference costs but also yield more interpretable and expert-aligned reasoning traces.