OSWorld: Het benchmarken van multimodale agents voor open-eindige taken in echte computeromgevingen

OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments

April 11, 2024

Auteurs: Tianbao Xie, Danyang Zhang, Jixuan Chen, Xiaochuan Li, Siheng Zhao, Ruisheng Cao, Toh Jing Hua, Zhoujun Cheng, Dongchan Shin, Fangyu Lei, Yitao Liu, Yiheng Xu, Shuyan Zhou, Silvio Savarese, Caiming Xiong, Victor Zhong, Tao Yu

cs.AI

Samenvatting

Autonome agents die complexe computertaken uitvoeren met minimale menselijke interventie hebben het potentieel om mens-computerinteractie te transformeren, waardoor toegankelijkheid en productiviteit aanzienlijk worden verbeterd. Bestaande benchmarks missen echter ofwel een interactieve omgeving, of zijn beperkt tot omgevingen die specifiek zijn voor bepaalde toepassingen of domeinen, waardoor ze niet de diverse en complexe aard van real-world computergebruik weerspiegelen. Dit beperkt de reikwijdte van taken en de schaalbaarheid van agents. Om dit probleem aan te pakken, introduceren we OSWorld, de eerste in zijn soort schaalbare, echte computeromgeving voor multimodale agents, die taakopzet, uitvoeringsgebaseerde evaluatie en interactief leren ondersteunt op verschillende besturingssystemen zoals Ubuntu, Windows en macOS. OSWorld kan dienen als een uniforme, geïntegreerde computeromgeving voor het beoordelen van open-ended computertaken die willekeurige toepassingen omvatten. Op basis van OSWorld creëren we een benchmark van 369 computertaken die echte web- en desktopapps in open domeinen, OS-bestands-I/O en workflows die meerdere toepassingen omvatten, bevatten. Elk taakvoorbeeld is afgeleid van real-world computergebruiksscenario's en omvat een gedetailleerde initiële staatopzetconfiguratie en een aangepast uitvoeringsgebaseerd evaluatiescript voor betrouwbare, reproduceerbare evaluatie. Uitgebreide evaluatie van state-of-the-art LLM/VLM-gebaseerde agents op OSWorld onthult aanzienlijke tekortkomingen in hun vermogen om als computerassistenten te dienen. Terwijl mensen meer dan 72,36% van de taken kunnen voltooien, behaalt het beste model slechts een succespercentage van 12,24%, waarbij het vooral moeite heeft met GUI-gronding en operationele kennis. Een uitgebreide analyse met behulp van OSWorld biedt waardevolle inzichten voor de ontwikkeling van multimodale generalistische agents die niet mogelijk waren met eerdere benchmarks. Onze code, omgeving, basismodellen en gegevens zijn openbaar beschikbaar op https://os-world.github.io.

English

Autonomous agents that accomplish complex computer tasks with minimal human interventions have the potential to transform human-computer interaction, significantly enhancing accessibility and productivity. However, existing benchmarks either lack an interactive environment or are limited to environments specific to certain applications or domains, failing to reflect the diverse and complex nature of real-world computer use, thereby limiting the scope of tasks and agent scalability. To address this issue, we introduce OSWorld, the first-of-its-kind scalable, real computer environment for multimodal agents, supporting task setup, execution-based evaluation, and interactive learning across various operating systems such as Ubuntu, Windows, and macOS. OSWorld can serve as a unified, integrated computer environment for assessing open-ended computer tasks that involve arbitrary applications. Building upon OSWorld, we create a benchmark of 369 computer tasks involving real web and desktop apps in open domains, OS file I/O, and workflows spanning multiple applications. Each task example is derived from real-world computer use cases and includes a detailed initial state setup configuration and a custom execution-based evaluation script for reliable, reproducible evaluation. Extensive evaluation of state-of-the-art LLM/VLM-based agents on OSWorld reveals significant deficiencies in their ability to serve as computer assistants. While humans can accomplish over 72.36% of the tasks, the best model achieves only 12.24% success, primarily struggling with GUI grounding and operational knowledge. Comprehensive analysis using OSWorld provides valuable insights for developing multimodal generalist agents that were not possible with previous benchmarks. Our code, environment, baseline models, and data are publicly available at https://os-world.github.io.