OSWorld: Benchmarking multimodale Agenten für offene Aufgaben in realen Computerumgebungen

OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments

April 11, 2024

Autoren: Tianbao Xie, Danyang Zhang, Jixuan Chen, Xiaochuan Li, Siheng Zhao, Ruisheng Cao, Toh Jing Hua, Zhoujun Cheng, Dongchan Shin, Fangyu Lei, Yitao Liu, Yiheng Xu, Shuyan Zhou, Silvio Savarese, Caiming Xiong, Victor Zhong, Tao Yu

cs.AI

Zusammenfassung

Autonome Agenten, die komplexe Computer-Aufgaben mit minimalen menschlichen Eingriffen erledigen, haben das Potenzial, die Mensch-Computer-Interaktion zu transformieren und die Zugänglichkeit und Produktivität erheblich zu verbessern. Allerdings fehlt es bestehenden Benchmarks entweder an einer interaktiven Umgebung oder sie sind auf Umgebungen beschränkt, die spezifisch für bestimmte Anwendungen oder Domänen sind. Dadurch spiegeln sie nicht die vielfältige und komplexe Natur der Computer-Nutzung im echten Leben wider und begrenzen somit den Umfang der Aufgaben und die Skalierbarkeit der Agenten. Um dieses Problem anzugehen, führen wir OSWorld ein, die skalierbare, reale Computer-Umgebung für multimodale Agenten, die Aufgabenkonfiguration, ausführungsbasierte Bewertung und interaktives Lernen über verschiedene Betriebssysteme wie Ubuntu, Windows und macOS unterstützt. OSWorld kann als vereinheitlichte, integrierte Computer-Umgebung dienen, um offene Computer-Aufgaben zu bewerten, die beliebige Anwendungen beinhalten. Basierend auf OSWorld erstellen wir einen Benchmark von 369 Computer-Aufgaben, die reale Web- und Desktop-Anwendungen in offenen Domänen, OS-Datei-E/A und Workflows über mehrere Anwendungen umfassen. Jedes Aufgabenbeispiel stammt aus realen Computer-Nutzungsszenarien und enthält eine detaillierte anfängliche Zustandskonfiguration sowie ein benutzerdefiniertes, ausführungsbasiertes Bewertungsskript für eine zuverlässige, reproduzierbare Bewertung. Eine umfassende Bewertung von State-of-the-Art LLM/VLM-basierten Agenten auf OSWorld zeigt signifikante Mängel in ihrer Fähigkeit, als Computerassistenten zu dienen. Während Menschen über 72,36% der Aufgaben bewältigen können, erreicht das beste Modell nur einen Erfolg von 12,24%, hauptsächlich aufgrund von Schwierigkeiten mit der GUI-Verankerung und dem operativen Wissen. Eine umfassende Analyse mit OSWorld liefert wertvolle Erkenntnisse für die Entwicklung von multimodalen Generalisten-Agenten, die mit früheren Benchmarks nicht möglich waren. Unser Code, die Umgebung, Basismodelle und Daten sind öffentlich unter https://os-world.github.io verfügbar.

English

Autonomous agents that accomplish complex computer tasks with minimal human interventions have the potential to transform human-computer interaction, significantly enhancing accessibility and productivity. However, existing benchmarks either lack an interactive environment or are limited to environments specific to certain applications or domains, failing to reflect the diverse and complex nature of real-world computer use, thereby limiting the scope of tasks and agent scalability. To address this issue, we introduce OSWorld, the first-of-its-kind scalable, real computer environment for multimodal agents, supporting task setup, execution-based evaluation, and interactive learning across various operating systems such as Ubuntu, Windows, and macOS. OSWorld can serve as a unified, integrated computer environment for assessing open-ended computer tasks that involve arbitrary applications. Building upon OSWorld, we create a benchmark of 369 computer tasks involving real web and desktop apps in open domains, OS file I/O, and workflows spanning multiple applications. Each task example is derived from real-world computer use cases and includes a detailed initial state setup configuration and a custom execution-based evaluation script for reliable, reproducible evaluation. Extensive evaluation of state-of-the-art LLM/VLM-based agents on OSWorld reveals significant deficiencies in their ability to serve as computer assistants. While humans can accomplish over 72.36% of the tasks, the best model achieves only 12.24% success, primarily struggling with GUI grounding and operational knowledge. Comprehensive analysis using OSWorld provides valuable insights for developing multimodal generalist agents that were not possible with previous benchmarks. Our code, environment, baseline models, and data are publicly available at https://os-world.github.io.