FinSearchComp: Hacia una Evaluación Realista y de Nivel Experto en Búsqueda y Razonamiento Financiero

FinSearchComp: Towards a Realistic, Expert-Level Evaluation of Financial Search and Reasoning

September 16, 2025

Autores: Liang Hu, Jianpeng Jiao, Jiashuo Liu, Yanle Ren, Zhoufutu Wen, Kaiyuan Zhang, Xuanliang Zhang, Xiang Gao, Tianci He, Fei Hu, Yali Liao, Zaiyuan Wang, Chenghao Yang, Qianyu Yang, Mingren Yin, Zhiyuan Zeng, Ge Zhang, Xinyi Zhang, Xiying Zhao, Zhenwei Zhu, Hongseok Namkoong, Wenhao Huang, Yuwen Tang

cs.AI

Resumen

La búsqueda ha surgido como infraestructura central para agentes basados en LLM y es ampliamente considerada como crítica en el camino hacia una inteligencia más general. Las finanzas son un terreno de prueba particularmente exigente: los analistas realizan rutinariamente búsquedas complejas y de múltiples pasos sobre datos específicos del dominio y sensibles al tiempo, lo que las hace ideales para evaluar tanto la competencia en búsqueda como el razonamiento basado en conocimiento. Sin embargo, no existen conjuntos de datos financieros abiertos que evalúen la capacidad de búsqueda de datos de agentes de extremo a extremo, en gran parte porque construir tareas realistas y complicadas requiere un profundo conocimiento financiero y los datos sensibles al tiempo son difíciles de evaluar. Presentamos FinSearchComp, el primer punto de referencia de agentes completamente de código abierto para búsqueda y razonamiento financiero realista y de dominio abierto. FinSearchComp comprende tres tareas —Obtención de Datos Sensibles al Tiempo, Búsqueda Histórica Simple e Investigación Histórica Completa— que reproducen de cerca los flujos de trabajo reales de los analistas financieros. Para garantizar la dificultad y la fiabilidad, involucramos a 70 expertos financieros profesionales para la anotación e implementamos una rigurosa tubería de control de calidad de múltiples etapas. El punto de referencia incluye 635 preguntas que abarcan los mercados globales y del Gran China, y evaluamos 21 modelos (productos) en él. Grok 4 (web) lidera el subconjunto global, acercándose a la precisión de nivel experto. DouBao (web) lidera en el subconjunto del Gran China. Los análisis experimentales muestran que equipar a los agentes con búsqueda web y complementos financieros mejora sustancialmente los resultados en FinSearchComp, y que el origen país de los modelos y herramientas impacta significativamente en el rendimiento. Al alinearse con tareas realistas de analistas y proporcionar una evaluación de extremo a extremo, FinSearchComp ofrece un banco de pruebas profesional y de alta dificultad para la búsqueda y razonamiento financiero complejo.

English

Search has emerged as core infrastructure for LLM-based agents and is widely viewed as critical on the path toward more general intelligence. Finance is a particularly demanding proving ground: analysts routinely conduct complex, multi-step searches over time-sensitive, domain-specific data, making it ideal for assessing both search proficiency and knowledge-grounded reasoning. Yet no existing open financial datasets evaluate data searching capability of end-to-end agents, largely because constructing realistic, complicated tasks requires deep financial expertise and time-sensitive data is hard to evaluate. We present FinSearchComp, the first fully open-source agent benchmark for realistic, open-domain financial search and reasoning. FinSearchComp comprises three tasks -- Time-Sensitive Data Fetching, Simple Historical Lookup, and Complex Historical Investigation -- closely reproduce real-world financial analyst workflows. To ensure difficulty and reliability, we engage 70 professional financial experts for annotation and implement a rigorous multi-stage quality-assurance pipeline. The benchmark includes 635 questions spanning global and Greater China markets, and we evaluate 21 models (products) on it. Grok 4 (web) tops the global subset, approaching expert-level accuracy. DouBao (web) leads on the Greater China subset. Experimental analyses show that equipping agents with web search and financial plugins substantially improves results on FinSearchComp, and the country origin of models and tools impact performance significantly.By aligning with realistic analyst tasks and providing end-to-end evaluation, FinSearchComp offers a professional, high-difficulty testbed for complex financial search and reasoning.