FinSearchComp: Op weg naar een realistische, expertniveau-evaluatie van financieel zoeken en redeneren

FinSearchComp: Towards a Realistic, Expert-Level Evaluation of Financial Search and Reasoning

September 16, 2025

Auteurs: Liang Hu, Jianpeng Jiao, Jiashuo Liu, Yanle Ren, Zhoufutu Wen, Kaiyuan Zhang, Xuanliang Zhang, Xiang Gao, Tianci He, Fei Hu, Yali Liao, Zaiyuan Wang, Chenghao Yang, Qianyu Yang, Mingren Yin, Zhiyuan Zeng, Ge Zhang, Xinyi Zhang, Xiying Zhao, Zhenwei Zhu, Hongseok Namkoong, Wenhao Huang, Yuwen Tang

cs.AI

Samenvatting

Zoeken is uitgegroeid tot een kerninfrastructuur voor LLM-gebaseerde agents en wordt algemeen gezien als cruciaal op het pad naar meer algemene intelligentie. Financiën vormen een bijzonder veeleisend testgebied: analisten voeren routinematig complexe, meerstaps zoekopdrachten uit over tijdsgevoelige, domeinspecifieke data, wat het ideaal maakt voor het beoordelen van zowel zoekvaardigheid als kennisgebaseerd redeneren. Toch evalueren geen bestaande open financiële datasets de zoekcapaciteit van end-to-end agents, voornamelijk omdat het construeren van realistische, gecompliceerde taken diepgaande financiële expertise vereist en tijdsgevoelige data moeilijk te evalueren is. Wij presenteren FinSearchComp, de eerste volledig open-source agent benchmark voor realistische, open-domein financiële zoekopdrachten en redenering. FinSearchComp omvat drie taken -- Tijdsgevoelige Data Ophalen, Eenvoudige Historische Opzoekingen en Complex Historisch Onderzoek -- die nauw aansluiten bij de workflows van echte financiële analisten. Om moeilijkheidsgraad en betrouwbaarheid te waarborgen, betrekken we 70 professionele financiële experts voor annotatie en implementeren we een rigoureuze, meerfasige kwaliteitsborgingspijplijn. De benchmark bevat 635 vragen die zowel de wereldwijde als de Greater China-markten bestrijken, en we evalueren 21 modellen (producten) hierop. Grok 4 (web) scoort het hoogst op de wereldwijde subset en benadert expertniveau nauwkeurigheid. DouBao (web) leidt op de Greater China subset. Experimentele analyses tonen aan dat het uitrusten van agents met webzoekopdrachten en financiële plugins de resultaten op FinSearchComp aanzienlijk verbetert, en dat de landen van herkomst van modellen en tools de prestaties significant beïnvloeden. Door aan te sluiten bij realistische analistentaken en end-to-end evaluatie te bieden, biedt FinSearchComp een professionele, hoogcomplexe testomgeving voor complexe financiële zoekopdrachten en redenering.

English

Search has emerged as core infrastructure for LLM-based agents and is widely viewed as critical on the path toward more general intelligence. Finance is a particularly demanding proving ground: analysts routinely conduct complex, multi-step searches over time-sensitive, domain-specific data, making it ideal for assessing both search proficiency and knowledge-grounded reasoning. Yet no existing open financial datasets evaluate data searching capability of end-to-end agents, largely because constructing realistic, complicated tasks requires deep financial expertise and time-sensitive data is hard to evaluate. We present FinSearchComp, the first fully open-source agent benchmark for realistic, open-domain financial search and reasoning. FinSearchComp comprises three tasks -- Time-Sensitive Data Fetching, Simple Historical Lookup, and Complex Historical Investigation -- closely reproduce real-world financial analyst workflows. To ensure difficulty and reliability, we engage 70 professional financial experts for annotation and implement a rigorous multi-stage quality-assurance pipeline. The benchmark includes 635 questions spanning global and Greater China markets, and we evaluate 21 models (products) on it. Grok 4 (web) tops the global subset, approaching expert-level accuracy. DouBao (web) leads on the Greater China subset. Experimental analyses show that equipping agents with web search and financial plugins substantially improves results on FinSearchComp, and the country origin of models and tools impact performance significantly.By aligning with realistic analyst tasks and providing end-to-end evaluation, FinSearchComp offers a professional, high-difficulty testbed for complex financial search and reasoning.