OSWorld-MCP : Évaluation comparative de l'invocation d'outils MCP dans les agents informatiques

OSWorld-MCP: Benchmarking MCP Tool Invocation In Computer-Use Agents

October 28, 2025

papers.authors: Hongrui Jia, Jitong Liao, Xi Zhang, Haiyang Xu, Tianbao Xie, Chaoya Jiang, Ming Yan, Si Liu, Wei Ye, Fei Huang

cs.AI

papers.abstract

Avec les progrès des capacités de prise de décision et de raisonnement, les agents multimodaux montrent un fort potentiel dans les scénarios d'application informatique. Les évaluations passées ont principalement évalué les compétences d'interaction avec les interfaces graphiques (GUI), tandis que les capacités d'invocation d'outils, telles que celles permises par le Model Context Protocol (MCP), ont été largement négligées. Comparer des agents avec une invocation d'outils intégrée à ceux évalués uniquement sur l'interaction GUI est intrinsèquement injuste. Nous présentons OSWorld-MCP, le premier benchmark complet et équitable pour évaluer l'invocation d'outils, l'opération d'interfaces graphiques et les capacités de prise de décision des agents informatiques dans un environnement réaliste. Nous concevons un nouveau pipeline automatisé de génération de code pour créer des outils et les combinons avec une sélection minutieuse d'outils existants. Une validation manuelle rigoureuse produit 158 outils de haute qualité (couvrant 7 applications courantes), chacun vérifié pour sa fonctionnalité correcte, son applicabilité pratique et sa polyvalence. Des évaluations approfondies d'agents multimodaux de pointe sur OSWorld-MCP montrent que les outils MCP améliorent généralement les taux de réussite des tâches (par exemple, de 8,3 % à 20,4 % pour OpenAI o3 à 15 étapes, de 40,1 % à 43,3 % pour Claude 4 Sonnet à 50 étapes), soulignant l'importance d'évaluer les capacités d'invocation d'outils. Cependant, même les modèles les plus puissants ont des taux d'invocation d'outils relativement faibles, seulement 36,3 %, indiquant une marge d'amélioration et soulignant le défi que représente ce benchmark. En mesurant explicitement les compétences d'utilisation des outils MCP, OSWorld-MCP approfondit la compréhension des agents multimodaux et établit une nouvelle norme pour évaluer les performances dans des environnements complexes assistés par des outils. Notre code, notre environnement et nos données sont publiquement disponibles à l'adresse https://osworld-mcp.github.io.

English

With advances in decision-making and reasoning capabilities, multimodal agents show strong potential in computer application scenarios. Past evaluations have mainly assessed GUI interaction skills, while tool invocation abilities, such as those enabled by the Model Context Protocol (MCP), have been largely overlooked. Comparing agents with integrated tool invocation to those evaluated only on GUI interaction is inherently unfair. We present OSWorld-MCP, the first comprehensive and fair benchmark for assessing computer-use agents' tool invocation, GUI operation, and decision-making abilities in a real-world environment. We design a novel automated code-generation pipeline to create tools and combine them with a curated selection from existing tools. Rigorous manual validation yields 158 high-quality tools (covering 7 common applications), each verified for correct functionality, practical applicability, and versatility. Extensive evaluations of state-of-the-art multimodal agents on OSWorld-MCP show that MCP tools generally improve task success rates (e.g., from 8.3% to 20.4% for OpenAI o3 at 15 steps, from 40.1% to 43.3% for Claude 4 Sonnet at 50 steps), underscoring the importance of assessing tool invocation capabilities. However, even the strongest models have relatively low tool invocation rates, Only 36.3%, indicating room for improvement and highlighting the benchmark's challenge. By explicitly measuring MCP tool usage skills, OSWorld-MCP deepens understanding of multimodal agents and sets a new standard for evaluating performance in complex, tool-assisted environments. Our code, environment, and data are publicly available at https://osworld-mcp.github.io.