OSWorld: Benchmarking di Agenti Multimodali per Compiti Aperti in Ambienti Informatici Reali

OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments

April 11, 2024

Autori: Tianbao Xie, Danyang Zhang, Jixuan Chen, Xiaochuan Li, Siheng Zhao, Ruisheng Cao, Toh Jing Hua, Zhoujun Cheng, Dongchan Shin, Fangyu Lei, Yitao Liu, Yiheng Xu, Shuyan Zhou, Silvio Savarese, Caiming Xiong, Victor Zhong, Tao Yu

cs.AI

Abstract

Agenti autonomi in grado di svolgere complessi compiti informatici con interventi umani minimi hanno il potenziale di trasformare l'interazione uomo-computer, migliorando significativamente l'accessibilità e la produttività. Tuttavia, i benchmark esistenti mancano di un ambiente interattivo o sono limitati a ambienti specifici per determinate applicazioni o domini, non riuscendo a riflettere la natura diversificata e complessa dell'uso reale del computer, limitando così la gamma di compiti e la scalabilità degli agenti. Per affrontare questo problema, introduciamo OSWorld, il primo ambiente informatico reale scalabile per agenti multimodali, che supporta la configurazione dei compiti, la valutazione basata sull'esecuzione e l'apprendimento interattivo su vari sistemi operativi come Ubuntu, Windows e macOS. OSWorld può servire come ambiente informatico unificato e integrato per valutare compiti aperti che coinvolgono applicazioni arbitrarie. Basandoci su OSWorld, creiamo un benchmark di 369 compiti informatici che coinvolgono applicazioni web e desktop reali in domini aperti, operazioni di I/O su file del sistema operativo e flussi di lavoro che si estendono su più applicazioni. Ogni esempio di compito è derivato da casi d'uso reali del computer e include una configurazione dettagliata dello stato iniziale e uno script di valutazione basato sull'esecuzione per una valutazione affidabile e riproducibile. Una valutazione estensiva degli agenti basati su LLM/VLM all'avanguardia su OSWorld rivela significative carenze nella loro capacità di fungere da assistenti informatici. Mentre gli esseri umani riescono a completare oltre il 72,36% dei compiti, il miglior modello raggiunge solo un tasso di successo del 12,24%, principalmente a causa di difficoltà nella comprensione dell'interfaccia grafica e nella conoscenza operativa. L'analisi approfondita utilizzando OSWorld fornisce preziose intuizioni per lo sviluppo di agenti generalisti multimodali che non erano possibili con i benchmark precedenti. Il nostro codice, ambiente, modelli di base e dati sono pubblicamente disponibili all'indirizzo https://os-world.github.io.

English

Autonomous agents that accomplish complex computer tasks with minimal human interventions have the potential to transform human-computer interaction, significantly enhancing accessibility and productivity. However, existing benchmarks either lack an interactive environment or are limited to environments specific to certain applications or domains, failing to reflect the diverse and complex nature of real-world computer use, thereby limiting the scope of tasks and agent scalability. To address this issue, we introduce OSWorld, the first-of-its-kind scalable, real computer environment for multimodal agents, supporting task setup, execution-based evaluation, and interactive learning across various operating systems such as Ubuntu, Windows, and macOS. OSWorld can serve as a unified, integrated computer environment for assessing open-ended computer tasks that involve arbitrary applications. Building upon OSWorld, we create a benchmark of 369 computer tasks involving real web and desktop apps in open domains, OS file I/O, and workflows spanning multiple applications. Each task example is derived from real-world computer use cases and includes a detailed initial state setup configuration and a custom execution-based evaluation script for reliable, reproducible evaluation. Extensive evaluation of state-of-the-art LLM/VLM-based agents on OSWorld reveals significant deficiencies in their ability to serve as computer assistants. While humans can accomplish over 72.36% of the tasks, the best model achieves only 12.24% success, primarily struggling with GUI grounding and operational knowledge. Comprehensive analysis using OSWorld provides valuable insights for developing multimodal generalist agents that were not possible with previous benchmarks. Our code, environment, baseline models, and data are publicly available at https://os-world.github.io.