MCP-Universe: Оценка больших языковых моделей с использованием серверов протокола контекста реальных моделей

MCP-Universe: Benchmarking Large Language Models with Real-World Model Context Protocol Servers

August 20, 2025

Авторы: Ziyang Luo, Zhiqi Shen, Wenzhuo Yang, Zirui Zhao, Prathyusha Jwalapuram, Amrita Saha, Doyen Sahoo, Silvio Savarese, Caiming Xiong, Junnan Li

cs.AI

Аннотация

Протокол Model Context Protocol (MCP) стал революционным стандартом для подключения крупных языковых моделей (LLM) к внешним источникам данных и инструментам, быстро завоевав популярность среди ведущих поставщиков ИИ и платформ разработки. Однако существующие бенчмарки чрезмерно упрощены и не учитывают реальные прикладные задачи, такие как долгосрочное рассуждение и работа с большими, незнакомыми пространствами инструментов. Чтобы устранить этот критический пробел, мы представляем MCP-Universe — первый всеобъемлющий бенчмарк, специально разработанный для оценки LLM в реалистичных и сложных задачах через взаимодействие с реальными серверами MCP. Наш бенчмарк охватывает 6 ключевых областей, включая 11 различных серверов MCP: навигацию по местоположению, управление репозиториями, финансовый анализ, 3D-дизайн, автоматизацию браузера и веб-поиск. Для обеспечения строгой оценки мы реализуем исполнительные методы оценки, включая форматные оценщики для проверки соответствия формату агентов, статические оценщики для сопоставления неизменного во времени контента и динамические оценщики, которые автоматически извлекают актуальные данные для задач, чувствительных ко времени. В ходе масштабной оценки ведущих LLM мы обнаружили, что даже передовые модели, такие как GPT-5 (43,72%), Grok-4 (33,33%) и Claude-4.0-Sonnet (29,44%), демонстрируют значительные ограничения в производительности. Кроме того, наш бенчмарк представляет собой серьезный вызов для LLM-агентов в работе с длинным контекстом, поскольку количество входных токенов быстро увеличивается с ростом числа шагов взаимодействия. Также он вводит задачу работы с неизвестными инструментами, поскольку LLM-агенты часто не знакомы с точным использованием серверов MCP. Примечательно, что корпоративные агенты, такие как Cursor, не могут достичь лучших результатов, чем стандартные фреймворки ReAct. Помимо оценки, мы открываем исходный код нашего расширяемого фреймворка оценки с поддержкой пользовательского интерфейса, позволяя исследователям и практикам легко интегрировать новых агентов и серверы MCP, способствуя инновациям в быстро развивающейся экосистеме MCP.

English

The Model Context Protocol has emerged as a transformative standard for connecting large language models to external data sources and tools, rapidly gaining adoption across major AI providers and development platforms. However, existing benchmarks are overly simplistic and fail to capture real application challenges such as long-horizon reasoning and large, unfamiliar tool spaces. To address this critical gap, we introduce MCP-Universe, the first comprehensive benchmark specifically designed to evaluate LLMs in realistic and hard tasks through interaction with real-world MCP servers. Our benchmark encompasses 6 core domains spanning 11 different MCP servers: Location Navigation, Repository Management, Financial Analysis, 3D Design, Browser Automation, and Web Searching. To ensure rigorous evaluation, we implement execution-based evaluators, including format evaluators for agent format compliance, static evaluators for time-invariant content matching, and dynamic evaluators that automatically retrieve real-time ground truth for temporally sensitive tasks. Through extensive evaluation of leading LLMs, we find that even SOTA models such as GPT-5 (43.72%), Grok-4 (33.33%) and Claude-4.0-Sonnet (29.44%) exhibit significant performance limitations. In addition, our benchmark poses a significant long-context challenge for LLM agents, as the number of input tokens increases rapidly with the number of interaction steps. Moreover, it introduces an unknown-tools challenge, as LLM agents often lack familiarity with the precise usage of the MCP servers. Notably, enterprise-level agents like Cursor cannot achieve better performance than standard ReAct frameworks. Beyond evaluation, we open-source our extensible evaluation framework with UI support, enabling researchers and practitioners to seamlessly integrate new agents and MCP servers while fostering innovation in the rapidly evolving MCP ecosystem.