FinSearchComp: Rumo a uma Avaliação Realista e de Nível Especialista em Busca e Raciocínio Financeiro

FinSearchComp: Towards a Realistic, Expert-Level Evaluation of Financial Search and Reasoning

September 16, 2025

Autores: Liang Hu, Jianpeng Jiao, Jiashuo Liu, Yanle Ren, Zhoufutu Wen, Kaiyuan Zhang, Xuanliang Zhang, Xiang Gao, Tianci He, Fei Hu, Yali Liao, Zaiyuan Wang, Chenghao Yang, Qianyu Yang, Mingren Yin, Zhiyuan Zeng, Ge Zhang, Xinyi Zhang, Xiying Zhao, Zhenwei Zhu, Hongseok Namkoong, Wenhao Huang, Yuwen Tang

cs.AI

Resumo

A busca emergiu como infraestrutura central para agentes baseados em LLM (Large Language Models) e é amplamente vista como crítica no caminho para uma inteligência mais geral. O setor financeiro é um campo de testes particularmente exigente: analistas realizam rotineiramente buscas complexas e multi-etapas sobre dados sensíveis ao tempo e específicos do domínio, tornando-o ideal para avaliar tanto a proficiência em busca quanto o raciocínio fundamentado em conhecimento. No entanto, nenhum conjunto de dados financeiros aberto existente avalia a capacidade de busca de dados de agentes end-to-end, em grande parte porque a construção de tarefas realistas e complicadas exige profunda expertise financeira, e dados sensíveis ao tempo são difíceis de avaliar. Apresentamos o FinSearchComp, o primeiro benchmark de agentes totalmente de código aberto para busca e raciocínio financeiro realista e de domínio aberto. O FinSearchComp compreende três tarefas — Busca de Dados Sensíveis ao Tempo, Consulta Histórica Simples e Investigação Histórica Complexa — que reproduzem de perto os fluxos de trabalho reais de analistas financeiros. Para garantir dificuldade e confiabilidade, envolvemos 70 especialistas financeiros profissionais para anotação e implementamos um rigoroso pipeline de garantia de qualidade em múltiplas etapas. O benchmark inclui 635 questões abrangendo mercados globais e da Grande China, e avaliamos 21 modelos (produtos) nele. O Grok 4 (web) lidera o subconjunto global, aproximando-se da precisão de nível especialista. O DouBao (web) lidera no subconjunto da Grande China. Análises experimentais mostram que equipar agentes com busca na web e plugins financeiros melhora substancialmente os resultados no FinSearchComp, e a origem geográfica dos modelos e ferramentas impacta significativamente o desempenho. Ao alinhar-se com tarefas realistas de analistas e fornecer avaliação end-to-end, o FinSearchComp oferece um ambiente de teste profissional e de alta dificuldade para busca e raciocínio financeiro complexo.

English

Search has emerged as core infrastructure for LLM-based agents and is widely viewed as critical on the path toward more general intelligence. Finance is a particularly demanding proving ground: analysts routinely conduct complex, multi-step searches over time-sensitive, domain-specific data, making it ideal for assessing both search proficiency and knowledge-grounded reasoning. Yet no existing open financial datasets evaluate data searching capability of end-to-end agents, largely because constructing realistic, complicated tasks requires deep financial expertise and time-sensitive data is hard to evaluate. We present FinSearchComp, the first fully open-source agent benchmark for realistic, open-domain financial search and reasoning. FinSearchComp comprises three tasks -- Time-Sensitive Data Fetching, Simple Historical Lookup, and Complex Historical Investigation -- closely reproduce real-world financial analyst workflows. To ensure difficulty and reliability, we engage 70 professional financial experts for annotation and implement a rigorous multi-stage quality-assurance pipeline. The benchmark includes 635 questions spanning global and Greater China markets, and we evaluate 21 models (products) on it. Grok 4 (web) tops the global subset, approaching expert-level accuracy. DouBao (web) leads on the Greater China subset. Experimental analyses show that equipping agents with web search and financial plugins substantially improves results on FinSearchComp, and the country origin of models and tools impact performance significantly.By aligning with realistic analyst tasks and providing end-to-end evaluation, FinSearchComp offers a professional, high-difficulty testbed for complex financial search and reasoning.