LiveMCPBench: Kunnen Agents Navigeren in een Oceaan van MCP-tools?

LiveMCPBench: Can Agents Navigate an Ocean of MCP Tools?

August 3, 2025

Auteurs: Guozhao Mo, Wenliang Zhong, Jiawei Chen, Xuanang Chen, Yaojie Lu, Hongyu Lin, Ben He, Xianpei Han, Le Sun

cs.AI

Samenvatting

Met de snelle ontwikkeling van het Model Context Protocol (MCP) is het aantal MCP-servers de 10.000 gepasseerd. Bestaande MCP-benchmarks zijn echter beperkt tot instellingen met één server en slechts een paar tools, wat een effectieve evaluatie van agentmogelijkheden in grootschalige, realistische scenario's belemmert. Om deze beperking aan te pakken, presenteren we LiveMCPBench, de eerste uitgebreide benchmark die bestaat uit 95 realistische taken binnen het MCP-ecosysteem, ontworpen om LLM-agents op grote schaal en over diverse servers te evalueren. Om een schaalbare en reproduceerbare evaluatiepijplijn in grootschalige MCP-omgevingen te ondersteunen, hebben we LiveMCPTool samengesteld, een diverse en direct inzetbare verzameling van 70 MCP-servers en 527 tools. Daarnaast introduceren we LiveMCPEval, een LLM-as-a-Judge-framework dat geautomatiseerde en adaptieve evaluatie mogelijk maakt in dynamische, tijdsvariërende taakomgevingen, met een overeenstemming van 81% met menselijke beoordelaars. Tot slot stellen we de MCP Copilot Agent voor, een multi-step agent die tools routeert voor dynamische planning en tools uitvoert voor API-interactie binnen de gehele LiveMCPTool-suite. Onze evaluatie omvat 10 toonaangevende modellen, waarbij het best presterende model (Claude-Sonnet-4) een slagingspercentage van 78,95% behaalt. We observeren echter grote prestatieverschillen tussen modellen, en verschillende veelgebruikte modellen presteren slecht in de complexe, toolrijke omgevingen van LiveMCPBench. Over het algemeen biedt LiveMCPBench het eerste geïntegreerde framework voor het benchmarken van LLM-agents in realistische, toolrijke en dynamische MCP-omgevingen, en legt het een solide basis voor schaalbare en reproduceerbare onderzoeken naar agentmogelijkheden. Onze code en data zullen publiekelijk beschikbaar zijn op https://icip-cas.github.io/LiveMCPBench.

English

With the rapid development of Model Context Protocol (MCP), the number of MCP servers has surpassed 10,000. However, existing MCP benchmarks are limited to single-server settings with only a few tools, hindering effective evaluation of agent capabilities in large-scale, real-world scenarios. To address this limitation, we present LiveMCPBench, the first comprehensive benchmark comprising 95 real-world tasks grounded in the MCP ecosystem, designed to evaluate LLM agents at scale across diverse servers. To support a scalable and reproducible evaluation pipeline in large-scale MCP environments, we curate LiveMCPTool, a diverse and readily deployable collection of 70 MCP servers and 527 tools. Furthermore, we introduce LiveMCPEval, an LLM-as-a-Judge framework that enables automated and adaptive evaluation in dynamic, time-varying task environments, achieving 81% agreement with human reviewers. Finally, we propose the MCP Copilot Agent, a multi-step agent that routes tools for dynamic planning and executes tools for API interaction across the entire LiveMCPTool suite. Our evaluation covers 10 leading models, with the best-performing model (Claude-Sonnet-4) reaching a 78.95% success rate. However, we observe large performance variance across models, and several widely-used models perform poorly in LiveMCPBench's complex, tool-rich environments. Overall, LiveMCPBench offers the first unified framework for benchmarking LLM agents in realistic, tool-rich, and dynamic MCP environments, laying a solid foundation for scalable and reproducible research on agent capabilities. Our code and data will be publicly available at https://icip-cas.github.io/LiveMCPBench.