MCPEval: Valutazione Automatica Basata su MCP per Modelli di Agenti IA

MCPEval: Automatic MCP-based Deep Evaluation for AI Agent Models

July 17, 2025

Autori: Zhiwei Liu, Jielin Qiu, Shiyu Wang, Jianguo Zhang, Zuxin Liu, Roshan Ram, Haolin Chen, Weiran Yao, Huan Wang, Shelby Heinecke, Silvio Savarese, Caiming Xiong

cs.AI

Abstract

La rapida ascesa degli agenti intelligenti basati su Large Language Models (LLM) sottolinea la necessità di framework di valutazione robusti e scalabili. I metodi esistenti si basano su benchmark statici e sulla raccolta di dati laboriosa, limitando la valutazione pratica. Introduciamo \oursystemname, un framework open-source basato su Model Context Protocol (MCP) che automatizza la generazione end-to-end di task e la valutazione approfondita degli agenti LLM in diversi domini. MCPEval standardizza le metriche, si integra perfettamente con gli strumenti nativi degli agenti ed elimina lo sforzo manuale nella costruzione di pipeline di valutazione. I risultati empirici in cinque domini reali ne dimostrano l'efficacia nel rivelare prestazioni sfumate e specifiche per dominio. Rilasciamo pubblicamente MCPEval all'indirizzo https://github.com/SalesforceAIResearch/MCPEval per promuovere una valutazione riproducibile e standardizzata degli agenti LLM.

English

The rapid rise of Large Language Models (LLMs)-based intelligent agents underscores the need for robust, scalable evaluation frameworks. Existing methods rely on static benchmarks and labor-intensive data collection, limiting practical assessment. We introduce \oursystemname, an open-source Model Context Protocol (MCP)-based framework that automates end-to-end task generation and deep evaluation of LLM agents across diverse domains. MCPEval standardizes metrics, seamlessly integrates with native agent tools, and eliminates manual effort in building evaluation pipelines. Empirical results across five real-world domains show its effectiveness in revealing nuanced, domain-specific performance. We publicly release MCPEval https://github.com/SalesforceAIResearch/MCPEval to promote reproducible and standardized LLM agent evaluation.