MCPEval: Automatische MCP-basierte Tiefenbewertung für KI-Agentenmodelle

MCPEval: Automatic MCP-based Deep Evaluation for AI Agent Models

July 17, 2025

papers.authors: Zhiwei Liu, Jielin Qiu, Shiyu Wang, Jianguo Zhang, Zuxin Liu, Roshan Ram, Haolin Chen, Weiran Yao, Huan Wang, Shelby Heinecke, Silvio Savarese, Caiming Xiong

cs.AI

papers.abstract

Der rasche Aufstieg von intelligenten Agenten, die auf großen Sprachmodellen (Large Language Models, LLMs) basieren, unterstreicht die Notwendigkeit robuster und skalierbarer Evaluierungsrahmen. Bisherige Methoden stützen sich auf statische Benchmarks und arbeitsintensive Datenerhebungen, was die praktische Bewertung einschränkt. Wir stellen \oursystemname vor, ein Open-Source-Framework, das auf dem Model Context Protocol (MCP) basiert und die automatisierte End-to-End-Aufgabengenerierung sowie die tiefgehende Evaluierung von LLM-Agenten über verschiedene Domänen hinweg ermöglicht. MCPEval standardisiert Metriken, integriert sich nahtlos in native Agenten-Tools und eliminiert den manuellen Aufwand beim Aufbau von Evaluierungspipelines. Empirische Ergebnisse aus fünf realen Anwendungsbereichen zeigen seine Effektivität bei der Aufdeckung nuancenreicher, domänenspezifischer Leistungen. Wir veröffentlichen MCPEval öffentlich unter https://github.com/SalesforceAIResearch/MCPEval, um reproduzierbare und standardisierte Evaluierungen von LLM-Agenten zu fördern.

English

The rapid rise of Large Language Models (LLMs)-based intelligent agents underscores the need for robust, scalable evaluation frameworks. Existing methods rely on static benchmarks and labor-intensive data collection, limiting practical assessment. We introduce \oursystemname, an open-source Model Context Protocol (MCP)-based framework that automates end-to-end task generation and deep evaluation of LLM agents across diverse domains. MCPEval standardizes metrics, seamlessly integrates with native agent tools, and eliminates manual effort in building evaluation pipelines. Empirical results across five real-world domains show its effectiveness in revealing nuanced, domain-specific performance. We publicly release MCPEval https://github.com/SalesforceAIResearch/MCPEval to promote reproducible and standardized LLM agent evaluation.