OSWorld : Évaluation des agents multimodaux pour des tâches ouvertes dans des environnements informatiques réels

OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments

April 11, 2024

Auteurs: Tianbao Xie, Danyang Zhang, Jixuan Chen, Xiaochuan Li, Siheng Zhao, Ruisheng Cao, Toh Jing Hua, Zhoujun Cheng, Dongchan Shin, Fangyu Lei, Yitao Liu, Yiheng Xu, Shuyan Zhou, Silvio Savarese, Caiming Xiong, Victor Zhong, Tao Yu

cs.AI

Résumé

Les agents autonomes capables d'accomplir des tâches informatiques complexes avec un minimum d'interventions humaines ont le potentiel de transformer l'interaction homme-machine, en améliorant considérablement l'accessibilité et la productivité. Cependant, les benchmarks existants manquent soit d'un environnement interactif, soit sont limités à des environnements spécifiques à certaines applications ou domaines, ne reflétant pas la nature diverse et complexe de l'utilisation réelle des ordinateurs, ce qui limite la portée des tâches et l'évolutivité des agents. Pour résoudre ce problème, nous introduisons OSWorld, le premier environnement informatique réel et évolutif pour les agents multimodaux, prenant en charge la configuration des tâches, l'évaluation basée sur l'exécution et l'apprentissage interactif sur divers systèmes d'exploitation tels qu'Ubuntu, Windows et macOS. OSWorld peut servir d'environnement informatique unifié et intégré pour évaluer des tâches informatiques ouvertes impliquant des applications arbitraires. En nous appuyant sur OSWorld, nous créons un benchmark de 369 tâches informatiques impliquant des applications web et de bureau réelles dans des domaines ouverts, des opérations de fichiers sur le système d'exploitation, et des workflows couvrant plusieurs applications. Chaque exemple de tâche est dérivé de cas d'utilisation réels d'ordinateurs et inclut une configuration détaillée de l'état initial ainsi qu'un script d'évaluation basé sur l'exécution pour une évaluation fiable et reproductible. Une évaluation approfondie des agents basés sur les modèles de langage (LLM) et de vision (VLM) de pointe sur OSWorld révèle des lacunes significatives dans leur capacité à servir d'assistants informatiques. Alors que les humains peuvent accomplir plus de 72,36 % des tâches, le meilleur modèle n'atteint qu'un taux de réussite de 12,24 %, principalement en raison de difficultés avec la compréhension des interfaces graphiques (GUI) et les connaissances opérationnelles. Une analyse approfondie utilisant OSWorld fournit des insights précieux pour le développement d'agents généralistes multimodaux qui n'étaient pas possibles avec les benchmarks précédents. Notre code, environnement, modèles de base et données sont disponibles publiquement à l'adresse https://os-world.github.io.

English

Autonomous agents that accomplish complex computer tasks with minimal human interventions have the potential to transform human-computer interaction, significantly enhancing accessibility and productivity. However, existing benchmarks either lack an interactive environment or are limited to environments specific to certain applications or domains, failing to reflect the diverse and complex nature of real-world computer use, thereby limiting the scope of tasks and agent scalability. To address this issue, we introduce OSWorld, the first-of-its-kind scalable, real computer environment for multimodal agents, supporting task setup, execution-based evaluation, and interactive learning across various operating systems such as Ubuntu, Windows, and macOS. OSWorld can serve as a unified, integrated computer environment for assessing open-ended computer tasks that involve arbitrary applications. Building upon OSWorld, we create a benchmark of 369 computer tasks involving real web and desktop apps in open domains, OS file I/O, and workflows spanning multiple applications. Each task example is derived from real-world computer use cases and includes a detailed initial state setup configuration and a custom execution-based evaluation script for reliable, reproducible evaluation. Extensive evaluation of state-of-the-art LLM/VLM-based agents on OSWorld reveals significant deficiencies in their ability to serve as computer assistants. While humans can accomplish over 72.36% of the tasks, the best model achieves only 12.24% success, primarily struggling with GUI grounding and operational knowledge. Comprehensive analysis using OSWorld provides valuable insights for developing multimodal generalist agents that were not possible with previous benchmarks. Our code, environment, baseline models, and data are publicly available at https://os-world.github.io.