LiveMCPBench: ¿Pueden los agentes navegar un océano de herramientas MCP?

LiveMCPBench: Can Agents Navigate an Ocean of MCP Tools?

August 3, 2025

Autores: Guozhao Mo, Wenliang Zhong, Jiawei Chen, Xuanang Chen, Yaojie Lu, Hongyu Lin, Ben He, Xianpei Han, Le Sun

cs.AI

Resumen

Con el rápido desarrollo del Protocolo de Contexto de Modelo (MCP), el número de servidores MCP ha superado los 10,000. Sin embargo, los puntos de referencia existentes para MCP se limitan a configuraciones de un solo servidor con solo unas pocas herramientas, lo que dificulta la evaluación efectiva de las capacidades de los agentes en escenarios del mundo real a gran escala. Para abordar esta limitación, presentamos LiveMCPBench, el primer punto de referencia integral que comprende 95 tareas del mundo real basadas en el ecosistema MCP, diseñado para evaluar agentes de LLM a gran escala en diversos servidores. Para respaldar una canalización de evaluación escalable y reproducible en entornos MCP a gran escala, hemos creado LiveMCPTool, una colección diversa y fácilmente implementable de 70 servidores MCP y 527 herramientas. Además, introducimos LiveMCPEval, un marco de evaluación automatizada y adaptativa basado en LLM-as-a-Judge, que logra un 81% de concordancia con revisores humanos. Finalmente, proponemos el Agente Copiloto MCP, un agente de múltiples pasos que enruta herramientas para la planificación dinámica y ejecuta herramientas para la interacción con API en toda la suite LiveMCPTool. Nuestra evaluación cubre 10 modelos líderes, con el modelo de mejor rendimiento (Claude-Sonnet-4) alcanzando una tasa de éxito del 78.95%. Sin embargo, observamos una gran variación en el rendimiento entre los modelos, y varios modelos ampliamente utilizados tienen un desempeño deficiente en los entornos complejos y ricos en herramientas de LiveMCPBench. En general, LiveMCPBench ofrece el primer marco unificado para evaluar agentes de LLM en entornos MCP realistas, ricos en herramientas y dinámicos, sentando una base sólida para la investigación escalable y reproducible sobre las capacidades de los agentes. Nuestro código y datos estarán disponibles públicamente en https://icip-cas.github.io/LiveMCPBench.

English

With the rapid development of Model Context Protocol (MCP), the number of MCP servers has surpassed 10,000. However, existing MCP benchmarks are limited to single-server settings with only a few tools, hindering effective evaluation of agent capabilities in large-scale, real-world scenarios. To address this limitation, we present LiveMCPBench, the first comprehensive benchmark comprising 95 real-world tasks grounded in the MCP ecosystem, designed to evaluate LLM agents at scale across diverse servers. To support a scalable and reproducible evaluation pipeline in large-scale MCP environments, we curate LiveMCPTool, a diverse and readily deployable collection of 70 MCP servers and 527 tools. Furthermore, we introduce LiveMCPEval, an LLM-as-a-Judge framework that enables automated and adaptive evaluation in dynamic, time-varying task environments, achieving 81% agreement with human reviewers. Finally, we propose the MCP Copilot Agent, a multi-step agent that routes tools for dynamic planning and executes tools for API interaction across the entire LiveMCPTool suite. Our evaluation covers 10 leading models, with the best-performing model (Claude-Sonnet-4) reaching a 78.95% success rate. However, we observe large performance variance across models, and several widely-used models perform poorly in LiveMCPBench's complex, tool-rich environments. Overall, LiveMCPBench offers the first unified framework for benchmarking LLM agents in realistic, tool-rich, and dynamic MCP environments, laying a solid foundation for scalable and reproducible research on agent capabilities. Our code and data will be publicly available at https://icip-cas.github.io/LiveMCPBench.