FinMCP-Bench: Valutazione di Agenti LLM per l'Uso di Strumenti Finanziari nel Mondo Reale con il Model Context Protocol
FinMCP-Bench: Benchmarking LLM Agents for Real-World Financial Tool Use under the Model Context Protocol
March 26, 2026
Autori: Jie Zhu, Yimin Tian, Boyang Li, Kehao Wu, Zhongzhi Liang, Junhui Li, Xianyin Zhang, Lifan Guo, Feng Chen, Yong Liu, Chi Zhang
cs.AI
Abstract
Questo articolo presenta FinMCP-Bench, un nuovo benchmark per valutare i grandi modelli linguistici (LLM) nella risoluzione di problemi finanziari reali attraverso l'invocazione di strumenti basata su protocolli contestuali di modelli finanziari. FinMCP-Bench contiene 613 campioni che coprono 10 scenari principali e 33 sottoscenari, caratterizzati sia da query utente reali che sintetiche per garantire diversità e autenticità. Incorpora 65 protocolli MCP finanziari reali e tre tipologie di campioni (strumento singoli, strumenti multipli e conversazioni multi-turno), consentendo la valutazione dei modelli su diversi livelli di complessità dei compiti. Utilizzando questo benchmark, valutiamo sistematicamente una serie di LLM mainstream e proponiamo metriche che misurano esplicitamente l'accuratezza nell'invocazione degli strumenti e le capacità di ragionamento. FinMCP-Bench fornisce un banco di prova standardizzato, pratico e stimolante per far progredire la ricerca sugli agenti LLM finanziari.
English
This paper introduces FinMCP-Bench, a novel benchmark for evaluating large language models (LLMs) in solving real-world financial problems through tool invocation of financial model context protocols. FinMCP-Bench contains 613 samples spanning 10 main scenarios and 33 sub-scenarios, featuring both real and synthetic user queries to ensure diversity and authenticity. It incorporates 65 real financial MCPs and three types of samples, single tool, multi-tool, and multi-turn, allowing evaluation of models across different levels of task complexity. Using this benchmark, we systematically assess a range of mainstream LLMs and propose metrics that explicitly measure tool invocation accuracy and reasoning capabilities. FinMCP-Bench provides a standardized, practical, and challenging testbed for advancing research on financial LLM agents.