FinanceHarness: 자율적 금융 심층 연구 프레임워크

초록

LLM 및 자율 에이전트의 발전에 힘입어, 딥 리서치는 가장 널리 채택된 에이전틱 제품 중 하나가 되었다. 그러나 대부분의 딥 리서치 시스템은 일반 목적의 보고서를 작성하며, 이는 금융 딥 리서치에는 부적합하다. 금융 리서치는 과거 패턴을 분석하고 향후 사건을 예측하기 위한 전문 지식을 요구한다. 따라서 금융 딥 리서치를 자동화하려면 연구 에이전트를 구동하는 계층적 하니스와 미래 정보의 누출을 방지하는 검증 가능한 시점 기준(point-in-time) 벤치마크가 모두 필요하다. 우리는 금융 지향 도구와 실무자 안내 워크플로를 실행하는 하니스인 FinanceHarness를 제시한다. 이는 환경 및 데이터 구축, 에이전트 실행 루프, 보상 모델링을 포함하여 금융 딥 리서치를 종단간(end-to-end)으로 자동화한다. 또한 우리는 사전 컷오프 및 사후 컷오프 기준을 결합한 논제 기반 연구 질문과 루브릭으로 구성된 FinanceGym을 제안한다. 전문가 검증 결과 82%의 통과율을 보였다. 최고 성능의 LLM과 에이전트조차 루브릭에서 40% 미만의 점수를 기록하여, FinanceGym이 도전적이며 상당한 개선 여지를 남기고 있음을 보여준다. 동일한 오픈 가중치(open-weight) 백본을 사용할 때, FinanceHarness는 전체 루브릭 점수를 25.3%에서 32.4%로 향상시킨다. FinanceHarness는 https://github.com/Yijia-Xiao/FinanceHarness에서 이용할 수 있다.

English

Powered by advances in LLMs and autonomous agents, deep research has become one of the most widely adopted agentic products. However, most deep research systems write general-purpose reports, which are inadequate for financial deep research. Financial research demands specialized knowledge to analyze historical patterns and forecast upcoming events. Automating financial deep research therefore requires both a layered harness to drive the research agent and a verifiable, point-in-time benchmark that prevents leakage of future information. We present FinanceHarness, a harness that runs finance-oriented tools and practitioner-guided workflows, automating financial deep research end to end: environment and data construction, the agent execution loop, and reward modeling. We further propose FinanceGym, comprising thesis-driven research questions and rubrics that combine pre-cutoff and post-cutoff criteria. Professional expert validation yields an 82% pass rate. Even leading LLMs and agents score below 40% on the rubrics, showing that FinanceGym is challenging and leaves substantial headroom. With the same open-weight backbone, FinanceHarness improves the overall rubric score from 25.3% to 32.4%. FinanceHarness is available at https://github.com/Yijia-Xiao/FinanceHarness.