MCPEval: Automatische MCP-gebaseerde diepe evaluatie voor AI-agentmodellen

MCPEval: Automatic MCP-based Deep Evaluation for AI Agent Models

July 17, 2025

Auteurs: Zhiwei Liu, Jielin Qiu, Shiyu Wang, Jianguo Zhang, Zuxin Liu, Roshan Ram, Haolin Chen, Weiran Yao, Huan Wang, Shelby Heinecke, Silvio Savarese, Caiming Xiong

cs.AI

Samenvatting

De snelle opkomst van intelligente agents gebaseerd op Large Language Models (LLM's) benadrukt de noodzaak van robuuste, schaalbare evaluatieframeworks. Bestaande methoden vertrouwen op statische benchmarks en arbeidsintensieve dataverzameling, wat de praktische beoordeling beperkt. Wij introduceren \oursystemname, een open-source Model Context Protocol (MCP)-gebaseerd framework dat end-to-end taakgeneratie en diepgaande evaluatie van LLM-agents in diverse domeinen automatiseert. MCPEval standaardiseert metrieken, integreert naadloos met native agenttools en elimineert handmatige inspanningen bij het bouwen van evaluatiepijplijnen. Empirische resultaten in vijf real-world domeinen tonen de effectiviteit ervan in het onthullen van genuanceerde, domeinspecifieke prestaties. Wij maken MCPEval publiekelijk beschikbaar op https://github.com/SalesforceAIResearch/MCPEval om reproduceerbare en gestandaardiseerde evaluatie van LLM-agents te bevorderen.

English

The rapid rise of Large Language Models (LLMs)-based intelligent agents underscores the need for robust, scalable evaluation frameworks. Existing methods rely on static benchmarks and labor-intensive data collection, limiting practical assessment. We introduce \oursystemname, an open-source Model Context Protocol (MCP)-based framework that automates end-to-end task generation and deep evaluation of LLM agents across diverse domains. MCPEval standardizes metrics, seamlessly integrates with native agent tools, and eliminates manual effort in building evaluation pipelines. Empirical results across five real-world domains show its effectiveness in revealing nuanced, domain-specific performance. We publicly release MCPEval https://github.com/SalesforceAIResearch/MCPEval to promote reproducible and standardized LLM agent evaluation.