FinanceHarness：自律的金融深層研究フレームワーク

要旨

LLMと自律エージェントの進歩により、ディープリサーチは最も広く採用されているエージェント型プロダクトの一つとなっている。しかし、ほとんどのディープリサーチシステムは汎用レポートを作成するものであり、金融ディープリサーチには不十分である。金融リサーチでは、過去のパターンを分析し今後の出来事を予測するための専門知識が必要とされる。したがって、金融ディープリサーチの自動化には、研究エージェントを駆動する多層的なハーネスと、将来情報の漏洩を防ぐ検証可能な時点固定ベンチマークの両方が必要となる。我々は、金融向けツールと実務家主導のワークフローを実行するハーネスであるFinanceHarnessを提案する。これは、環境とデータの構築、エージェント実行ループ、報酬モデリングをエンドツーエンドで自動化するものである。さらに、テーゼ駆動型のリサーチクエスチョンと、情報カットオフ前後の基準を組み合わせたルーブリックから構成されるFinanceGymを提案する。専門家による検証では82%の合格率が得られた。主要なLLMやエージェントでさえルーブリックで40%未満のスコアにとどまり、FinanceGymが難易度が高く、改善の余地を大きく残していることを示している。同じオープンウェイトのバックボーンを用いた場合、FinanceHarnessはルーブリック全体のスコアを25.3%から32.4%に改善する。FinanceHarnessは、https://github.com/Yijia-Xiao/FinanceHarness で公開されている。

English

Powered by advances in LLMs and autonomous agents, deep research has become one of the most widely adopted agentic products. However, most deep research systems write general-purpose reports, which are inadequate for financial deep research. Financial research demands specialized knowledge to analyze historical patterns and forecast upcoming events. Automating financial deep research therefore requires both a layered harness to drive the research agent and a verifiable, point-in-time benchmark that prevents leakage of future information. We present FinanceHarness, a harness that runs finance-oriented tools and practitioner-guided workflows, automating financial deep research end to end: environment and data construction, the agent execution loop, and reward modeling. We further propose FinanceGym, comprising thesis-driven research questions and rubrics that combine pre-cutoff and post-cutoff criteria. Professional expert validation yields an 82% pass rate. Even leading LLMs and agents score below 40% on the rubrics, showing that FinanceGym is challenging and leaves substantial headroom. With the same open-weight backbone, FinanceHarness improves the overall rubric score from 25.3% to 32.4%. FinanceHarness is available at https://github.com/Yijia-Xiao/FinanceHarness.