MCPEval: AIエージェントモデルのための自動MCPベース深層評価

MCPEval: Automatic MCP-based Deep Evaluation for AI Agent Models

July 17, 2025

著者: Zhiwei Liu, Jielin Qiu, Shiyu Wang, Jianguo Zhang, Zuxin Liu, Roshan Ram, Haolin Chen, Weiran Yao, Huan Wang, Shelby Heinecke, Silvio Savarese, Caiming Xiong

cs.AI

要旨

大規模言語モデル（LLM）ベースのインテリジェントエージェントの急速な台頭は、堅牢でスケーラブルな評価フレームワークの必要性を浮き彫りにしています。既存の手法は静的ベンチマークと労力を要するデータ収集に依存しており、実践的な評価を制限しています。本論文では、\oursystemnameを紹介します。これは、オープンソースのモデルコンテキストプロトコル（MCP）ベースのフレームワークであり、多様なドメインにわたるLLMエージェントのエンドツーエンドタスク生成と深い評価を自動化します。MCPEvalはメトリクスを標準化し、ネイティブエージェントツールとシームレスに統合し、評価パイプライン構築における手作業を排除します。5つの実世界ドメインにわたる実証結果は、ドメイン固有の微妙な性能を明らかにするその有効性を示しています。再現可能で標準化されたLLMエージェント評価を促進するため、MCPEvalを公開します。https://github.com/SalesforceAIResearch/MCPEval

English

The rapid rise of Large Language Models (LLMs)-based intelligent agents underscores the need for robust, scalable evaluation frameworks. Existing methods rely on static benchmarks and labor-intensive data collection, limiting practical assessment. We introduce \oursystemname, an open-source Model Context Protocol (MCP)-based framework that automates end-to-end task generation and deep evaluation of LLM agents across diverse domains. MCPEval standardizes metrics, seamlessly integrates with native agent tools, and eliminates manual effort in building evaluation pipelines. Empirical results across five real-world domains show its effectiveness in revealing nuanced, domain-specific performance. We publicly release MCPEval https://github.com/SalesforceAIResearch/MCPEval to promote reproducible and standardized LLM agent evaluation.