LiveMCPBench: Os Agentes Podem Navegar por um Oceano de Ferramentas MCP?

LiveMCPBench: Can Agents Navigate an Ocean of MCP Tools?

August 3, 2025

Autores: Guozhao Mo, Wenliang Zhong, Jiawei Chen, Xuanang Chen, Yaojie Lu, Hongyu Lin, Ben He, Xianpei Han, Le Sun

cs.AI

Resumo

Com o rápido desenvolvimento do Protocolo de Contexto de Modelo (MCP), o número de servidores MCP ultrapassou 10.000. No entanto, os benchmarks existentes para MCP estão limitados a configurações de servidor único com apenas algumas ferramentas, dificultando a avaliação eficaz das capacidades dos agentes em cenários reais e em larga escala. Para superar essa limitação, apresentamos o LiveMCPBench, o primeiro benchmark abrangente composto por 95 tarefas do mundo real baseadas no ecossistema MCP, projetado para avaliar agentes de LLM em escala em diversos servidores. Para apoiar um pipeline de avaliação escalável e reproduzível em ambientes MCP de larga escala, organizamos o LiveMCPTool, uma coleção diversificada e prontamente implantável de 70 servidores MCP e 527 ferramentas. Além disso, introduzimos o LiveMCPEval, um framework LLM-as-a-Judge que permite avaliação automatizada e adaptativa em ambientes de tarefas dinâmicos e variáveis no tempo, alcançando 81% de concordância com revisores humanos. Por fim, propomos o MCP Copilot Agent, um agente de múltiplos passos que direciona ferramentas para planejamento dinâmico e executa ferramentas para interação com APIs em todo o conjunto LiveMCPTool. Nossa avaliação abrange 10 modelos líderes, com o modelo de melhor desempenho (Claude-Sonnet-4) atingindo uma taxa de sucesso de 78,95%. No entanto, observamos uma grande variação de desempenho entre os modelos, e vários modelos amplamente utilizados têm desempenho fraco nos ambientes complexos e ricos em ferramentas do LiveMCPBench. No geral, o LiveMCPBench oferece o primeiro framework unificado para benchmarking de agentes LLM em ambientes MCP realistas, ricos em ferramentas e dinâmicos, estabelecendo uma base sólida para pesquisas escaláveis e reproduzíveis sobre capacidades de agentes. Nosso código e dados estarão publicamente disponíveis em https://icip-cas.github.io/LiveMCPBench.

English

With the rapid development of Model Context Protocol (MCP), the number of MCP servers has surpassed 10,000. However, existing MCP benchmarks are limited to single-server settings with only a few tools, hindering effective evaluation of agent capabilities in large-scale, real-world scenarios. To address this limitation, we present LiveMCPBench, the first comprehensive benchmark comprising 95 real-world tasks grounded in the MCP ecosystem, designed to evaluate LLM agents at scale across diverse servers. To support a scalable and reproducible evaluation pipeline in large-scale MCP environments, we curate LiveMCPTool, a diverse and readily deployable collection of 70 MCP servers and 527 tools. Furthermore, we introduce LiveMCPEval, an LLM-as-a-Judge framework that enables automated and adaptive evaluation in dynamic, time-varying task environments, achieving 81% agreement with human reviewers. Finally, we propose the MCP Copilot Agent, a multi-step agent that routes tools for dynamic planning and executes tools for API interaction across the entire LiveMCPTool suite. Our evaluation covers 10 leading models, with the best-performing model (Claude-Sonnet-4) reaching a 78.95% success rate. However, we observe large performance variance across models, and several widely-used models perform poorly in LiveMCPBench's complex, tool-rich environments. Overall, LiveMCPBench offers the first unified framework for benchmarking LLM agents in realistic, tool-rich, and dynamic MCP environments, laying a solid foundation for scalable and reproducible research on agent capabilities. Our code and data will be publicly available at https://icip-cas.github.io/LiveMCPBench.