FinSearchComp: Verso una Valutazione Realistica e di Livello Esperto della Ricerca e del Ragionamento Finanziario

FinSearchComp: Towards a Realistic, Expert-Level Evaluation of Financial Search and Reasoning

September 16, 2025

Autori: Liang Hu, Jianpeng Jiao, Jiashuo Liu, Yanle Ren, Zhoufutu Wen, Kaiyuan Zhang, Xuanliang Zhang, Xiang Gao, Tianci He, Fei Hu, Yali Liao, Zaiyuan Wang, Chenghao Yang, Qianyu Yang, Mingren Yin, Zhiyuan Zeng, Ge Zhang, Xinyi Zhang, Xiying Zhao, Zhenwei Zhu, Hongseok Namkoong, Wenhao Huang, Yuwen Tang

cs.AI

Abstract

La ricerca è emersa come infrastruttura centrale per agenti basati su LLM ed è ampiamente considerata critica nel percorso verso un’intelligenza più generale. La finanza rappresenta un terreno di prova particolarmente impegnativo: gli analisti conducono abitualmente ricerche complesse e multi-step su dati sensibili al tempo e specifici del dominio, rendendola ideale per valutare sia la competenza nella ricerca che il ragionamento basato sulla conoscenza. Tuttavia, nessun dataset finanziario aperto esistente valuta la capacità di ricerca dati di agenti end-to-end, principalmente perché la costruzione di task realistici e complessi richiede una profonda competenza finanziaria e i dati sensibili al tempo sono difficili da valutare. Presentiamo FinSearchComp, il primo benchmark per agenti completamente open-source per la ricerca e il ragionamento finanziario realistico e open-domain. FinSearchComprende tre task — Recupero di Dati Sensibili al Tempo, Ricerca Storica Semplice e Investigazione Storica Complessa — che riproducono fedelmente i flussi di lavoro reali degli analisti finanziari. Per garantire difficoltà e affidabilità, coinvolgiamo 70 esperti finanziari professionisti per l’annotazione e implementiamo una rigorosa pipeline di controllo qualità multi-fase. Il benchmark include 635 domande che coprono i mercati globali e del Greater China, e valutiamo 21 modelli (prodotti) su di esso. Grok 4 (web) si posiziona al primo posto nel subset globale, avvicinandosi all’accuratezza di livello esperto. DouBao (web) guida il subset del Greater China. Le analisi sperimentali mostrano che dotare gli agenti di ricerca web e plugin finanziari migliora sostanzialmente i risultati su FinSearchComp, e l’origine geografica dei modelli e degli strumenti influisce significativamente sulle prestazioni. Allineandosi ai task realistici degli analisti e fornendo una valutazione end-to-end, FinSearchComp offre un banco di prova professionale e ad alta difficoltà per la ricerca e il ragionamento finanziario complesso.

English

Search has emerged as core infrastructure for LLM-based agents and is widely viewed as critical on the path toward more general intelligence. Finance is a particularly demanding proving ground: analysts routinely conduct complex, multi-step searches over time-sensitive, domain-specific data, making it ideal for assessing both search proficiency and knowledge-grounded reasoning. Yet no existing open financial datasets evaluate data searching capability of end-to-end agents, largely because constructing realistic, complicated tasks requires deep financial expertise and time-sensitive data is hard to evaluate. We present FinSearchComp, the first fully open-source agent benchmark for realistic, open-domain financial search and reasoning. FinSearchComp comprises three tasks -- Time-Sensitive Data Fetching, Simple Historical Lookup, and Complex Historical Investigation -- closely reproduce real-world financial analyst workflows. To ensure difficulty and reliability, we engage 70 professional financial experts for annotation and implement a rigorous multi-stage quality-assurance pipeline. The benchmark includes 635 questions spanning global and Greater China markets, and we evaluate 21 models (products) on it. Grok 4 (web) tops the global subset, approaching expert-level accuracy. DouBao (web) leads on the Greater China subset. Experimental analyses show that equipping agents with web search and financial plugins substantially improves results on FinSearchComp, and the country origin of models and tools impact performance significantly.By aligning with realistic analyst tasks and providing end-to-end evaluation, FinSearchComp offers a professional, high-difficulty testbed for complex financial search and reasoning.