LiveMCPBench: Gli Agenti Possono Navigare in un Oceano di Strumenti MCP?

LiveMCPBench: Can Agents Navigate an Ocean of MCP Tools?

August 3, 2025

Autori: Guozhao Mo, Wenliang Zhong, Jiawei Chen, Xuanang Chen, Yaojie Lu, Hongyu Lin, Ben He, Xianpei Han, Le Sun

cs.AI

Abstract

Con il rapido sviluppo del Model Context Protocol (MCP), il numero di server MCP ha superato i 10.000. Tuttavia, i benchmark MCP esistenti sono limitati a configurazioni a singolo server con pochi strumenti, ostacolando una valutazione efficace delle capacità degli agenti in scenari reali su larga scala. Per affrontare questa limitazione, presentiamo LiveMCPBench, il primo benchmark completo che comprende 95 task reali basati sull'ecosistema MCP, progettato per valutare gli agenti LLM su larga scala su server diversi. Per supportare una pipeline di valutazione scalabile e riproducibile in ambienti MCP su larga scala, abbiamo curato LiveMCPTool, una raccolta diversificata e pronta all'uso di 70 server MCP e 527 strumenti. Inoltre, introduciamo LiveMCPEval, un framework LLM-as-a-Judge che consente una valutazione automatizzata e adattativa in ambienti di task dinamici e variabili nel tempo, raggiungendo un accordo dell'81% con i revisori umani. Infine, proponiamo il MCP Copilot Agent, un agente multi-step che instrada gli strumenti per la pianificazione dinamica ed esegue strumenti per l'interazione API su tutta la suite LiveMCPTool. La nostra valutazione copre 10 modelli leader, con il modello migliore (Claude-Sonnet-4) che raggiunge un tasso di successo del 78,95%. Tuttavia, osserviamo una grande variazione delle prestazioni tra i modelli, e diversi modelli ampiamente utilizzati si comportano male negli ambienti complessi e ricchi di strumenti di LiveMCPBench. Nel complesso, LiveMCPBench offre il primo framework unificato per il benchmarking degli agenti LLM in ambienti MCP realistici, ricchi di strumenti e dinamici, gettando una solida base per una ricerca scalabile e riproducibile sulle capacità degli agenti. Il nostro codice e i dati saranno pubblicamente disponibili all'indirizzo https://icip-cas.github.io/LiveMCPBench.

English

With the rapid development of Model Context Protocol (MCP), the number of MCP servers has surpassed 10,000. However, existing MCP benchmarks are limited to single-server settings with only a few tools, hindering effective evaluation of agent capabilities in large-scale, real-world scenarios. To address this limitation, we present LiveMCPBench, the first comprehensive benchmark comprising 95 real-world tasks grounded in the MCP ecosystem, designed to evaluate LLM agents at scale across diverse servers. To support a scalable and reproducible evaluation pipeline in large-scale MCP environments, we curate LiveMCPTool, a diverse and readily deployable collection of 70 MCP servers and 527 tools. Furthermore, we introduce LiveMCPEval, an LLM-as-a-Judge framework that enables automated and adaptive evaluation in dynamic, time-varying task environments, achieving 81% agreement with human reviewers. Finally, we propose the MCP Copilot Agent, a multi-step agent that routes tools for dynamic planning and executes tools for API interaction across the entire LiveMCPTool suite. Our evaluation covers 10 leading models, with the best-performing model (Claude-Sonnet-4) reaching a 78.95% success rate. However, we observe large performance variance across models, and several widely-used models perform poorly in LiveMCPBench's complex, tool-rich environments. Overall, LiveMCPBench offers the first unified framework for benchmarking LLM agents in realistic, tool-rich, and dynamic MCP environments, laying a solid foundation for scalable and reproducible research on agent capabilities. Our code and data will be publicly available at https://icip-cas.github.io/LiveMCPBench.