MCPEval: Avaliação Profunda Automática Baseada em MCP para Modelos de Agentes de IA

MCPEval: Automatic MCP-based Deep Evaluation for AI Agent Models

July 17, 2025

Autores: Zhiwei Liu, Jielin Qiu, Shiyu Wang, Jianguo Zhang, Zuxin Liu, Roshan Ram, Haolin Chen, Weiran Yao, Huan Wang, Shelby Heinecke, Silvio Savarese, Caiming Xiong

cs.AI

Resumo

O rápido crescimento de agentes inteligentes baseados em Modelos de Linguagem de Grande Escala (LLMs) destaca a necessidade de frameworks de avaliação robustos e escaláveis. Os métodos existentes dependem de benchmarks estáticos e da coleta de dados intensiva em mão de obra, limitando a avaliação prática. Apresentamos o \oursystemname, um framework de código aberto baseado no Protocolo de Contexto de Modelo (MCP) que automatiza a geração de tarefas de ponta a ponta e a avaliação profunda de agentes LLM em diversos domínios. O MCPEval padroniza métricas, integra-se perfeitamente com ferramentas nativas de agentes e elimina o esforço manual na construção de pipelines de avaliação. Resultados empíricos em cinco domínios do mundo real demonstram sua eficácia em revelar desempenhos específicos e detalhados. Disponibilizamos publicamente o MCPEval em https://github.com/SalesforceAIResearch/MCPEval para promover a avaliação reproduzível e padronizada de agentes LLM.

English

The rapid rise of Large Language Models (LLMs)-based intelligent agents underscores the need for robust, scalable evaluation frameworks. Existing methods rely on static benchmarks and labor-intensive data collection, limiting practical assessment. We introduce \oursystemname, an open-source Model Context Protocol (MCP)-based framework that automates end-to-end task generation and deep evaluation of LLM agents across diverse domains. MCPEval standardizes metrics, seamlessly integrates with native agent tools, and eliminates manual effort in building evaluation pipelines. Empirical results across five real-world domains show its effectiveness in revealing nuanced, domain-specific performance. We publicly release MCPEval https://github.com/SalesforceAIResearch/MCPEval to promote reproducible and standardized LLM agent evaluation.