OSWorld-MCP: Benchmarking von MCP-Toolaufrufen in Computer-Use-Agenten

OSWorld-MCP: Benchmarking MCP Tool Invocation In Computer-Use Agents

October 28, 2025

papers.authors: Hongrui Jia, Jitong Liao, Xi Zhang, Haiyang Xu, Tianbao Xie, Chaoya Jiang, Ming Yan, Si Liu, Wei Ye, Fei Huang

cs.AI

papers.abstract

Durch Fortschritte bei Entscheidungsfindung und logischem Denkvermögen zeigen multimodale Agenten ein großes Potenzial in Computerszenarien. Bisherige Evaluationen konzentrierten sich hauptsächlich auf die Bewertung von GUI-Interaktionsfähigkeiten, während Tool-Invocation-Fähigkeiten, wie sie beispielsweise durch das Model Context Protocol (MCP) ermöglicht werden, weitgehend unberücksichtigt blieben. Ein Vergleich von Agenten mit integrierter Tool-Invocation mit solchen, die nur auf GUI-Interaktion evaluiert wurden, ist von Natur aus unfair. Wir stellen OSWorld-MCP vor, den ersten umfassenden und fairen Benchmark zur Bewertung der Tool-Invocation-, GUI-Bedienungs- und Entscheidungsfähigkeiten von Computer-Nutzungs-Agenten in einer realen Umgebung. Wir entwerfen eine neuartige Pipeline zur automatischen Code-Generierung, um Tools zu erstellen, und kombinieren diese mit einer kuratierten Auswahl bestehender Tools. Strenge manuelle Validierung ergibt 158 hochwertige Tools (die 7 häufige Anwendungen abdecken), die jeweils auf korrekte Funktionalität, praktische Anwendbarkeit und Vielseitigkeit überprüft wurden. Umfangreiche Evaluationen modernster multimodaler Agenten auf OSWorld-MCP zeigen, dass MCP-Tools generell die Aufgabenerfolgsraten verbessern (z.B. von 8,3 % auf 20,4 % für OpenAI o3 bei 15 Schritten, von 40,1 % auf 43,3 % für Claude 4 Sonnet bei 50 Schritten), was die Bedeutung der Bewertung von Tool-Invocation-Fähigkeiten unterstreicht. Allerdings weisen selbst die stärksten Modelle relativ niedrige Tool-Invocation-Raten auf (nur 36,3 %), was Verbesserungspotenzial aufzeigt und die Herausforderung des Benchmarks unterstreicht. Durch die explizite Messung von MCP-Tool-Nutzungsfähigkeiten vertieft OSWorld-MCP das Verständnis multimodaler Agenten und setzt einen neuen Standard für die Leistungsbewertung in komplexen, tool-unterstützten Umgebungen. Unser Code, unsere Umgebung und unsere Daten sind öffentlich unter https://osworld-mcp.github.io verfügbar.

English

With advances in decision-making and reasoning capabilities, multimodal agents show strong potential in computer application scenarios. Past evaluations have mainly assessed GUI interaction skills, while tool invocation abilities, such as those enabled by the Model Context Protocol (MCP), have been largely overlooked. Comparing agents with integrated tool invocation to those evaluated only on GUI interaction is inherently unfair. We present OSWorld-MCP, the first comprehensive and fair benchmark for assessing computer-use agents' tool invocation, GUI operation, and decision-making abilities in a real-world environment. We design a novel automated code-generation pipeline to create tools and combine them with a curated selection from existing tools. Rigorous manual validation yields 158 high-quality tools (covering 7 common applications), each verified for correct functionality, practical applicability, and versatility. Extensive evaluations of state-of-the-art multimodal agents on OSWorld-MCP show that MCP tools generally improve task success rates (e.g., from 8.3% to 20.4% for OpenAI o3 at 15 steps, from 40.1% to 43.3% for Claude 4 Sonnet at 50 steps), underscoring the importance of assessing tool invocation capabilities. However, even the strongest models have relatively low tool invocation rates, Only 36.3%, indicating room for improvement and highlighting the benchmark's challenge. By explicitly measuring MCP tool usage skills, OSWorld-MCP deepens understanding of multimodal agents and sets a new standard for evaluating performance in complex, tool-assisted environments. Our code, environment, and data are publicly available at https://osworld-mcp.github.io.