FinSearchComp : Vers une évaluation réaliste et experte de la recherche et du raisonnement financiers
FinSearchComp: Towards a Realistic, Expert-Level Evaluation of Financial Search and Reasoning
September 16, 2025
papers.authors: Liang Hu, Jianpeng Jiao, Jiashuo Liu, Yanle Ren, Zhoufutu Wen, Kaiyuan Zhang, Xuanliang Zhang, Xiang Gao, Tianci He, Fei Hu, Yali Liao, Zaiyuan Wang, Chenghao Yang, Qianyu Yang, Mingren Yin, Zhiyuan Zeng, Ge Zhang, Xinyi Zhang, Xiying Zhao, Zhenwei Zhu, Hongseok Namkoong, Wenhao Huang, Yuwen Tang
cs.AI
papers.abstract
La recherche s'est imposée comme une infrastructure centrale pour les agents basés sur LLM (modèles de langage de grande taille) et est largement considérée comme essentielle sur la voie d'une intelligence plus générale. La finance constitue un terrain d'essai particulièrement exigeant : les analystes effectuent régulièrement des recherches complexes et multi-étapes sur des données sensibles au temps et spécifiques au domaine, ce qui en fait un cadre idéal pour évaluer à la fois la maîtrise de la recherche et le raisonnement ancré dans la connaissance. Pourtant, aucun ensemble de données financières ouvert existant n'évalue la capacité de recherche de données des agents de bout en bout, principalement parce que la construction de tâches réalistes et complexes nécessite une expertise financière approfondie et que les données sensibles au temps sont difficiles à évaluer. Nous présentons FinSearchComp, le premier benchmark open-source complet pour la recherche et le raisonnement financiers réalistes et ouverts. FinSearchComp comprend trois tâches — Récupération de données sensibles au temps, Consultation historique simple et Investigation historique complexe — qui reproduisent fidèlement les workflows des analystes financiers dans le monde réel. Pour garantir la difficulté et la fiabilité, nous avons mobilisé 70 experts financiers professionnels pour l'annotation et mis en place un pipeline rigoureux d'assurance qualité en plusieurs étapes. Le benchmark inclut 635 questions couvrant les marchés mondiaux et ceux de la Grande Chine, et nous évaluons 21 modèles (produits) sur celui-ci. Grok 4 (web) domine le sous-ensemble mondial, approchant une précision de niveau expert. DouBao (web) mène sur le sous-ensemble de la Grande Chine. Les analyses expérimentales montrent que doter les agents de recherche web et de plugins financiers améliore considérablement les résultats sur FinSearchComp, et que l'origine géographique des modèles et outils influence significativement la performance. En s'alignant sur les tâches réalistes des analystes et en fournissant une évaluation de bout en bout, FinSearchComp offre un banc d'essai professionnel et de haute difficulté pour la recherche et le raisonnement financiers complexes.
English
Search has emerged as core infrastructure for LLM-based agents and is widely
viewed as critical on the path toward more general intelligence. Finance is a
particularly demanding proving ground: analysts routinely conduct complex,
multi-step searches over time-sensitive, domain-specific data, making it ideal
for assessing both search proficiency and knowledge-grounded reasoning. Yet no
existing open financial datasets evaluate data searching capability of
end-to-end agents, largely because constructing realistic, complicated tasks
requires deep financial expertise and time-sensitive data is hard to evaluate.
We present FinSearchComp, the first fully open-source agent benchmark for
realistic, open-domain financial search and reasoning. FinSearchComp comprises
three tasks -- Time-Sensitive Data Fetching, Simple Historical Lookup, and
Complex Historical Investigation -- closely reproduce real-world financial
analyst workflows. To ensure difficulty and reliability, we engage 70
professional financial experts for annotation and implement a rigorous
multi-stage quality-assurance pipeline. The benchmark includes 635 questions
spanning global and Greater China markets, and we evaluate 21 models (products)
on it. Grok 4 (web) tops the global subset, approaching expert-level accuracy.
DouBao (web) leads on the Greater China subset. Experimental analyses show that
equipping agents with web search and financial plugins substantially improves
results on FinSearchComp, and the country origin of models and tools impact
performance significantly.By aligning with realistic analyst tasks and
providing end-to-end evaluation, FinSearchComp offers a professional,
high-difficulty testbed for complex financial search and reasoning.