MCPEval: Автоматическая глубокая оценка моделей ИИ-агентов на основе MCP

MCPEval: Automatic MCP-based Deep Evaluation for AI Agent Models

July 17, 2025

Авторы: Zhiwei Liu, Jielin Qiu, Shiyu Wang, Jianguo Zhang, Zuxin Liu, Roshan Ram, Haolin Chen, Weiran Yao, Huan Wang, Shelby Heinecke, Silvio Savarese, Caiming Xiong

cs.AI

Аннотация

Быстрый рост интеллектуальных агентов на основе больших языковых моделей (LLM) подчеркивает необходимость создания надежных и масштабируемых фреймворков для их оценки. Существующие методы опираются на статические бенчмарки и трудоемкий сбор данных, что ограничивает практическую оценку. Мы представляем \oursystemname, открытый фреймворк на основе Model Context Protocol (MCP), который автоматизирует генерацию задач от начала до конца и глубокую оценку LLM-агентов в различных областях. MCPEval стандартизирует метрики, легко интегрируется с нативными инструментами агентов и устраняет необходимость ручного создания конвейеров оценки. Эмпирические результаты в пяти реальных областях демонстрируют его эффективность в выявлении тонких, специфичных для домена характеристик производительности. Мы публично выпускаем MCPEval https://github.com/SalesforceAIResearch/MCPEval для продвижения воспроизводимой и стандартизированной оценки LLM-агентов.

English

The rapid rise of Large Language Models (LLMs)-based intelligent agents underscores the need for robust, scalable evaluation frameworks. Existing methods rely on static benchmarks and labor-intensive data collection, limiting practical assessment. We introduce \oursystemname, an open-source Model Context Protocol (MCP)-based framework that automates end-to-end task generation and deep evaluation of LLM agents across diverse domains. MCPEval standardizes metrics, seamlessly integrates with native agent tools, and eliminates manual effort in building evaluation pipelines. Empirical results across five real-world domains show its effectiveness in revealing nuanced, domain-specific performance. We publicly release MCPEval https://github.com/SalesforceAIResearch/MCPEval to promote reproducible and standardized LLM agent evaluation.