FinSearchComp: На пути к реалистичной экспертной оценке финансового поиска и анализа
FinSearchComp: Towards a Realistic, Expert-Level Evaluation of Financial Search and Reasoning
September 16, 2025
Авторы: Liang Hu, Jianpeng Jiao, Jiashuo Liu, Yanle Ren, Zhoufutu Wen, Kaiyuan Zhang, Xuanliang Zhang, Xiang Gao, Tianci He, Fei Hu, Yali Liao, Zaiyuan Wang, Chenghao Yang, Qianyu Yang, Mingren Yin, Zhiyuan Zeng, Ge Zhang, Xinyi Zhang, Xiying Zhao, Zhenwei Zhu, Hongseok Namkoong, Wenhao Huang, Yuwen Tang
cs.AI
Аннотация
Поиск стал ключевой инфраструктурой для агентов на основе больших языковых моделей (LLM) и широко рассматривается как критически важный элемент на пути к более общему искусственному интеллекту. Финансовая сфера представляет собой особенно требовательную площадку для испытаний: аналитики регулярно проводят сложные, многоэтапные поиски в данных, чувствительных ко времени и специфичных для предметной области, что делает её идеальной для оценки как навыков поиска, так и обоснованного рассуждения на основе знаний. Однако в существующих открытых финансовых наборах данных отсутствует оценка способности поиска данных для сквозных агентов, в основном потому, что создание реалистичных, сложных задач требует глубоких финансовых знаний, а данные, чувствительные ко времени, сложно оценивать. Мы представляем FinSearchComp — первый полностью открытый эталонный тест для реалистичного поиска и рассуждения в открытой финансовой области. FinSearchComp включает три задачи — Получение данных, чувствительных ко времени, Простой исторический поиск и Сложное историческое исследование, — которые точно воспроизводят рабочие процессы реальных финансовых аналитиков. Чтобы обеспечить сложность и надежность, мы привлекли 70 профессиональных финансовых экспертов для аннотирования и реализовали строгий многоэтапный конвейер контроля качества. Эталонный тест включает 635 вопросов, охватывающих глобальные рынки и рынки Большого Китая, и мы оцениваем на нём 21 модель (продукт). Grok 4 (web) лидирует в глобальном подмножестве, приближаясь к точности экспертного уровня. DouBao (web) возглавляет подмножество Большого Китая. Экспериментальные анализы показывают, что оснащение агентов веб-поиском и финансовыми плагинами существенно улучшает результаты на FinSearchComp, а страна происхождения моделей и инструментов значительно влияет на производительность. Соответствуя реалистичным задачам аналитиков и предоставляя сквозную оценку, FinSearchComp предлагает профессиональную, высокосложную тестовую среду для сложного финансового поиска и рассуждения.
English
Search has emerged as core infrastructure for LLM-based agents and is widely
viewed as critical on the path toward more general intelligence. Finance is a
particularly demanding proving ground: analysts routinely conduct complex,
multi-step searches over time-sensitive, domain-specific data, making it ideal
for assessing both search proficiency and knowledge-grounded reasoning. Yet no
existing open financial datasets evaluate data searching capability of
end-to-end agents, largely because constructing realistic, complicated tasks
requires deep financial expertise and time-sensitive data is hard to evaluate.
We present FinSearchComp, the first fully open-source agent benchmark for
realistic, open-domain financial search and reasoning. FinSearchComp comprises
three tasks -- Time-Sensitive Data Fetching, Simple Historical Lookup, and
Complex Historical Investigation -- closely reproduce real-world financial
analyst workflows. To ensure difficulty and reliability, we engage 70
professional financial experts for annotation and implement a rigorous
multi-stage quality-assurance pipeline. The benchmark includes 635 questions
spanning global and Greater China markets, and we evaluate 21 models (products)
on it. Grok 4 (web) tops the global subset, approaching expert-level accuracy.
DouBao (web) leads on the Greater China subset. Experimental analyses show that
equipping agents with web search and financial plugins substantially improves
results on FinSearchComp, and the country origin of models and tools impact
performance significantly.By aligning with realistic analyst tasks and
providing end-to-end evaluation, FinSearchComp offers a professional,
high-difficulty testbed for complex financial search and reasoning.