OSWorld-MCP: Benchmarken van MCP-toolaanroeping in computergebruik-agenten

OSWorld-MCP: Benchmarking MCP Tool Invocation In Computer-Use Agents

October 28, 2025

Auteurs: Hongrui Jia, Jitong Liao, Xi Zhang, Haiyang Xu, Tianbao Xie, Chaoya Jiang, Ming Yan, Si Liu, Wei Ye, Fei Huang

cs.AI

Samenvatting

Met de vooruitgang in besluitvormings- en redeneervermogen tonen multimodale agenten sterk potentieel in computerapplicatiescenario's. Eerdere evaluaties hebben voornamelijk GUI-interactievaardigheden beoordeeld, terwijl toolaanroepcapaciteiten, zoals mogelijk gemaakt door het Model Context Protocol (MCP), grotendeels over het hoofd zijn gezien. Het vergelijken van agenten met geïntegreerde toolaanroep met agenten die alleen op GUI-interactie zijn geëvalueerd, is inherent oneerlijk. Wij presenteren OSWorld-MCP, de eerste uitgebreide en eerlijke benchmark voor het beoordelen van toolaanroep-, GUI-bedienings- en besluitvormingsvermogen van computergebruik-agenten in een realistische omgeving. We ontwerpen een nieuwe geautomatiseerde code-generatiepijplijn om tools te creëren en combineren deze met een gecureerde selectie uit bestaande tools. Strenge handmatige validatie levert 158 hoogwaardige tools op (die 7 veelvoorkomende applicaties bestrijken), elk geverifieerd op correcte functionaliteit, praktische toepasbaarheid en veelzijdigheid. Uitgebreide evaluaties van state-of-the-art multimodale agenten op OSWorld-MCP tonen aan dat MCP-tools over het algemeen de taaksuccespercentages verbeteren (bijv. van 8,3% naar 20,4% voor OpenAI o3 bij 15 stappen, van 40,1% naar 43,3% voor Claude 4 Sonnet bij 50 stappen), wat het belang onderstreept van het beoordelen van toolaanroepcapaciteiten. Echter, zelfs de sterkste modellen hebben relatief lage toolaanroeppercentages (slechts 36,3%), wat wijst op ruimte voor verbetering en de uitdagende aard van de benchmark benadrukt. Door expliciet MCP-toolgebruiksvaardigheden te meten, verdiept OSWorld-MCP het begrip van multimodale agenten en zet het een nieuwe standaard voor het evalueren van prestaties in complexe, tool-ondersteunde omgevingen. Onze code, omgeving en gegevens zijn openbaar beschikbaar op https://osworld-mcp.github.io.

English

With advances in decision-making and reasoning capabilities, multimodal agents show strong potential in computer application scenarios. Past evaluations have mainly assessed GUI interaction skills, while tool invocation abilities, such as those enabled by the Model Context Protocol (MCP), have been largely overlooked. Comparing agents with integrated tool invocation to those evaluated only on GUI interaction is inherently unfair. We present OSWorld-MCP, the first comprehensive and fair benchmark for assessing computer-use agents' tool invocation, GUI operation, and decision-making abilities in a real-world environment. We design a novel automated code-generation pipeline to create tools and combine them with a curated selection from existing tools. Rigorous manual validation yields 158 high-quality tools (covering 7 common applications), each verified for correct functionality, practical applicability, and versatility. Extensive evaluations of state-of-the-art multimodal agents on OSWorld-MCP show that MCP tools generally improve task success rates (e.g., from 8.3% to 20.4% for OpenAI o3 at 15 steps, from 40.1% to 43.3% for Claude 4 Sonnet at 50 steps), underscoring the importance of assessing tool invocation capabilities. However, even the strongest models have relatively low tool invocation rates, Only 36.3%, indicating room for improvement and highlighting the benchmark's challenge. By explicitly measuring MCP tool usage skills, OSWorld-MCP deepens understanding of multimodal agents and sets a new standard for evaluating performance in complex, tool-assisted environments. Our code, environment, and data are publicly available at https://osworld-mcp.github.io.