FinMCP-Bench: Тестирование агентов на основе больших языковых моделей для реального использования финансовых инструментов в рамках протокола Model Context Protocol
FinMCP-Bench: Benchmarking LLM Agents for Real-World Financial Tool Use under the Model Context Protocol
March 26, 2026
Авторы: Jie Zhu, Yimin Tian, Boyang Li, Kehao Wu, Zhongzhi Liang, Junhui Li, Xianyin Zhang, Lifan Guo, Feng Chen, Yong Liu, Chi Zhang
cs.AI
Аннотация
В данной статье представлен FinMCP-Bench — новый эталонный набор для оценки больших языковых моделей (LLM) в решении реальных финансовых задач посредством вызова инструментов через контекстные протоколы финансовых моделей. FinMCP-Bench содержит 613 образцов, охватывающих 10 основных сценариев и 33 под-сценария, и включает как реальные, так и синтетические пользовательские запросы для обеспечения разнообразия и аутентичности. Набор интегрирует 65 реальных финансовых MCP и три типа образцов: с одним инструментом, несколькими инструментами и многошаговые, что позволяет оценивать модели на разных уровнях сложности задач. Используя данный бенчмарк, мы систематически оцениваем ряд основных LLM и предлагаем метрики, явно измеряющие точность вызова инструментов и способности к логическим рассуждениям. FinMCP-Bench предоставляет стандартизированную, практичную и сложную тестовую среду для продвижения исследований в области финансовых LLM-агентов.
English
This paper introduces FinMCP-Bench, a novel benchmark for evaluating large language models (LLMs) in solving real-world financial problems through tool invocation of financial model context protocols. FinMCP-Bench contains 613 samples spanning 10 main scenarios and 33 sub-scenarios, featuring both real and synthetic user queries to ensure diversity and authenticity. It incorporates 65 real financial MCPs and three types of samples, single tool, multi-tool, and multi-turn, allowing evaluation of models across different levels of task complexity. Using this benchmark, we systematically assess a range of mainstream LLMs and propose metrics that explicitly measure tool invocation accuracy and reasoning capabilities. FinMCP-Bench provides a standardized, practical, and challenging testbed for advancing research on financial LLM agents.