FinSearchComp: Auf dem Weg zu einer realistischen, expertenbasierten Bewertung von Finanzsuche und -schlussfolgerung

FinSearchComp: Towards a Realistic, Expert-Level Evaluation of Financial Search and Reasoning

September 16, 2025

papers.authors: Liang Hu, Jianpeng Jiao, Jiashuo Liu, Yanle Ren, Zhoufutu Wen, Kaiyuan Zhang, Xuanliang Zhang, Xiang Gao, Tianci He, Fei Hu, Yali Liao, Zaiyuan Wang, Chenghao Yang, Qianyu Yang, Mingren Yin, Zhiyuan Zeng, Ge Zhang, Xinyi Zhang, Xiying Zhao, Zhenwei Zhu, Hongseok Namkoong, Wenhao Huang, Yuwen Tang

cs.AI

papers.abstract

Die Suche hat sich als zentrale Infrastruktur für LLM-basierte Agenten etabliert und wird allgemein als entscheidend auf dem Weg zu einer allgemeineren Intelligenz angesehen. Die Finanzwelt stellt dabei ein besonders anspruchsvolles Testfeld dar: Analysten führen routinemäßig komplexe, mehrstufige Suchen über zeitkritische, domänenspezifische Daten durch, was sie ideal zur Bewertung sowohl der Suchkompetenz als auch des wissensbasierten Denkens macht. Dennoch gibt es keine bestehenden offenen Finanzdatensätze, die die Datenrecherchefähigkeit von End-to-End-Agenten bewerten, da die Erstellung realistischer, komplizierter Aufgaben tiefgehende Finanzexpertise erfordert und zeitkritische Daten schwer zu bewerten sind. Wir stellen FinSearchComp vor, den ersten vollständig Open-Source-Agenten-Benchmark für realistische, domänenübergreifende Finanzrecherche und -logik. FinSearchComp umfasst drei Aufgaben – Zeitkritische Datenbeschaffung, Einfache Historische Recherche und Komplexe Historische Untersuchung –, die die Arbeitsabläufe von Finanzanalysten in der Praxis eng nachbilden. Um Schwierigkeit und Zuverlässigkeit zu gewährleisten, haben wir 70 professionelle Finanzexperten für die Annotation engagiert und eine rigorose mehrstufige Qualitätssicherungspipeline implementiert. Der Benchmark umfasst 635 Fragen zu globalen und Greater-China-Märkten, und wir bewerten 21 Modelle (Produkte) darauf. Grok 4 (Web) führt im globalen Subset an und nähert sich der Experten-Genauigkeit. DouBao (Web) führt im Greater-China-Subset. Experimentelle Analysen zeigen, dass die Ausstattung von Agenten mit Web-Suche und Finanz-Plugins die Ergebnisse auf FinSearchComp erheblich verbessert, und dass die Herkunft der Modelle und Tools die Leistung signifikant beeinflusst. Durch die Ausrichtung an realistischen Analystenaufgaben und die Bereitstellung einer End-to-End-Bewertung bietet FinSearchComp ein professionelles, hochanspruchsvolles Testfeld für komplexe Finanzrecherche und -logik.

English

Search has emerged as core infrastructure for LLM-based agents and is widely viewed as critical on the path toward more general intelligence. Finance is a particularly demanding proving ground: analysts routinely conduct complex, multi-step searches over time-sensitive, domain-specific data, making it ideal for assessing both search proficiency and knowledge-grounded reasoning. Yet no existing open financial datasets evaluate data searching capability of end-to-end agents, largely because constructing realistic, complicated tasks requires deep financial expertise and time-sensitive data is hard to evaluate. We present FinSearchComp, the first fully open-source agent benchmark for realistic, open-domain financial search and reasoning. FinSearchComp comprises three tasks -- Time-Sensitive Data Fetching, Simple Historical Lookup, and Complex Historical Investigation -- closely reproduce real-world financial analyst workflows. To ensure difficulty and reliability, we engage 70 professional financial experts for annotation and implement a rigorous multi-stage quality-assurance pipeline. The benchmark includes 635 questions spanning global and Greater China markets, and we evaluate 21 models (products) on it. Grok 4 (web) tops the global subset, approaching expert-level accuracy. DouBao (web) leads on the Greater China subset. Experimental analyses show that equipping agents with web search and financial plugins substantially improves results on FinSearchComp, and the country origin of models and tools impact performance significantly.By aligning with realistic analyst tasks and providing end-to-end evaluation, FinSearchComp offers a professional, high-difficulty testbed for complex financial search and reasoning.