OSWorld-MCP: Бенчмаркинг вызова инструментов MCP в агентах компьютерного взаимодействия

OSWorld-MCP: Benchmarking MCP Tool Invocation In Computer-Use Agents

October 28, 2025

Авторы: Hongrui Jia, Jitong Liao, Xi Zhang, Haiyang Xu, Tianbao Xie, Chaoya Jiang, Ming Yan, Si Liu, Wei Ye, Fei Huang

cs.AI

Аннотация

С развитием способностей к принятию решений и логическому мышлению мультимодальные агенты демонстрируют значительный потенциал в сценариях компьютерных приложений. Предыдущие оценки в основном фокусировались на навыках взаимодействия с графическим интерфейсом (GUI), в то время как способности к вызову инструментов, такие как те, что обеспечиваются Model Context Protocol (MCP), оставались в значительной степени без внимания. Сравнение агентов с интегрированным вызовом инструментов с теми, кто оценивался только по взаимодействию с GUI, по своей сути несправедливо. Мы представляем OSWorld-MCP — первый комплексный и справедливый бенчмарк для оценки способностей агентов по использованию компьютера к вызову инструментов, операциям с GUI и принятию решений в реальной среде. Мы разработали новый автоматизированный конвейер генерации кода для создания инструментов и объединили их с тщательно отобранными существующими инструментами. Строгая ручная валидация позволила получить 158 высококачественных инструментов (охватывающих 7 распространенных приложений), каждый из которых проверен на корректность функциональности, практическую применимость и универсальность. Обширные оценки передовых мультимодальных агентов на OSWorld-MCP показывают, что инструменты MCP в целом повышают процент успешного выполнения задач (например, с 8,3% до 20,4% для OpenAI o3 на 15 шагах, с 40,1% до 43,3% для Claude 4 Sonnet на 50 шагах), что подчеркивает важность оценки возможностей вызова инструментов. Однако даже у самых мощных моделей относительно низкий процент вызова инструментов — всего 36,3%, что указывает на потенциал для улучшения и подчеркивает сложность бенчмарка. Явно измеряя навыки использования инструментов MCP, OSWorld-MCP углубляет понимание мультимодальных агентов и устанавливает новый стандарт для оценки производительности в сложных средах с инструментальной поддержкой. Наш код, среда и данные общедоступны по адресу https://osworld-mcp.github.io.

English

With advances in decision-making and reasoning capabilities, multimodal agents show strong potential in computer application scenarios. Past evaluations have mainly assessed GUI interaction skills, while tool invocation abilities, such as those enabled by the Model Context Protocol (MCP), have been largely overlooked. Comparing agents with integrated tool invocation to those evaluated only on GUI interaction is inherently unfair. We present OSWorld-MCP, the first comprehensive and fair benchmark for assessing computer-use agents' tool invocation, GUI operation, and decision-making abilities in a real-world environment. We design a novel automated code-generation pipeline to create tools and combine them with a curated selection from existing tools. Rigorous manual validation yields 158 high-quality tools (covering 7 common applications), each verified for correct functionality, practical applicability, and versatility. Extensive evaluations of state-of-the-art multimodal agents on OSWorld-MCP show that MCP tools generally improve task success rates (e.g., from 8.3% to 20.4% for OpenAI o3 at 15 steps, from 40.1% to 43.3% for Claude 4 Sonnet at 50 steps), underscoring the importance of assessing tool invocation capabilities. However, even the strongest models have relatively low tool invocation rates, Only 36.3%, indicating room for improvement and highlighting the benchmark's challenge. By explicitly measuring MCP tool usage skills, OSWorld-MCP deepens understanding of multimodal agents and sets a new standard for evaluating performance in complex, tool-assisted environments. Our code, environment, and data are publicly available at https://osworld-mcp.github.io.