MCP-Universe : Évaluation des modèles de langage de grande envergure avec des serveurs de protocole de contexte du monde réel

MCP-Universe: Benchmarking Large Language Models with Real-World Model Context Protocol Servers

August 20, 2025

papers.authors: Ziyang Luo, Zhiqi Shen, Wenzhuo Yang, Zirui Zhao, Prathyusha Jwalapuram, Amrita Saha, Doyen Sahoo, Silvio Savarese, Caiming Xiong, Junnan Li

cs.AI

papers.abstract

Le Protocole de Contexte Modèle (MCP) est apparu comme une norme transformative pour connecter les grands modèles de langage à des sources de données externes et à des outils, gagnant rapidement en adoption auprès des principaux fournisseurs d’IA et plateformes de développement. Cependant, les benchmarks existants sont trop simplistes et ne parviennent pas à capturer les défis réels des applications, tels que le raisonnement à long terme et les espaces d’outils vastes et inconnus. Pour combler cette lacune critique, nous introduisons MCP-Universe, le premier benchmark complet spécialement conçu pour évaluer les LLM dans des tâches réalistes et complexes via l’interaction avec des serveurs MCP du monde réel. Notre benchmark couvre 6 domaines principaux répartis sur 11 serveurs MCP différents : Navigation Géographique, Gestion de Référentiels, Analyse Financière, Conception 3D, Automatisation de Navigateurs et Recherche Web. Pour garantir une évaluation rigoureuse, nous mettons en œuvre des évaluateurs basés sur l’exécution, incluant des évaluateurs de format pour la conformité des agents, des évaluateurs statiques pour la correspondance de contenu invariant dans le temps, et des évaluateurs dynamiques qui récupèrent automatiquement la vérité terrain en temps réel pour les tâches sensibles au temps. À travers une évaluation approfondie des LLM leaders, nous constatons que même les modèles de pointe tels que GPT-5 (43,72 %), Grok-4 (33,33 %) et Claude-4.0-Sonnet (29,44 %) présentent des limitations de performance significatives. De plus, notre benchmark pose un défi de contexte long pour les agents LLM, car le nombre de tokens d’entrée augmente rapidement avec le nombre d’étapes d’interaction. Par ailleurs, il introduit un défi d’outils inconnus, car les agents LLM manquent souvent de familiarité avec l’utilisation précise des serveurs MCP. Notamment, les agents de niveau entreprise comme Cursor ne parviennent pas à obtenir de meilleures performances que les frameworks ReAct standards. Au-delà de l’évaluation, nous ouvrons en open-source notre cadre d’évaluation extensible avec support d’interface utilisateur, permettant aux chercheurs et praticiens d’intégrer de nouveaux agents et serveurs MCP de manière transparente tout en favorisant l’innovation dans l’écosystème MCP en évolution rapide.

English

The Model Context Protocol has emerged as a transformative standard for connecting large language models to external data sources and tools, rapidly gaining adoption across major AI providers and development platforms. However, existing benchmarks are overly simplistic and fail to capture real application challenges such as long-horizon reasoning and large, unfamiliar tool spaces. To address this critical gap, we introduce MCP-Universe, the first comprehensive benchmark specifically designed to evaluate LLMs in realistic and hard tasks through interaction with real-world MCP servers. Our benchmark encompasses 6 core domains spanning 11 different MCP servers: Location Navigation, Repository Management, Financial Analysis, 3D Design, Browser Automation, and Web Searching. To ensure rigorous evaluation, we implement execution-based evaluators, including format evaluators for agent format compliance, static evaluators for time-invariant content matching, and dynamic evaluators that automatically retrieve real-time ground truth for temporally sensitive tasks. Through extensive evaluation of leading LLMs, we find that even SOTA models such as GPT-5 (43.72%), Grok-4 (33.33%) and Claude-4.0-Sonnet (29.44%) exhibit significant performance limitations. In addition, our benchmark poses a significant long-context challenge for LLM agents, as the number of input tokens increases rapidly with the number of interaction steps. Moreover, it introduces an unknown-tools challenge, as LLM agents often lack familiarity with the precise usage of the MCP servers. Notably, enterprise-level agents like Cursor cannot achieve better performance than standard ReAct frameworks. Beyond evaluation, we open-source our extensible evaluation framework with UI support, enabling researchers and practitioners to seamlessly integrate new agents and MCP servers while fostering innovation in the rapidly evolving MCP ecosystem.