OSWorld: 現実のコンピュータ環境におけるオープンエンドタスクのためのマルチモーダルエージェントのベンチマーキング

OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments

April 11, 2024

著者: Tianbao Xie, Danyang Zhang, Jixuan Chen, Xiaochuan Li, Siheng Zhao, Ruisheng Cao, Toh Jing Hua, Zhoujun Cheng, Dongchan Shin, Fangyu Lei, Yitao Liu, Yiheng Xu, Shuyan Zhou, Silvio Savarese, Caiming Xiong, Victor Zhong, Tao Yu

cs.AI

要旨

最小限の人的介入で複雑なコンピュータタスクを達成する自律エージェントは、人間とコンピュータの相互作用を変革し、アクセシビリティと生産性を大幅に向上させる可能性を秘めています。しかし、既存のベンチマークは、インタラクティブな環境を欠いているか、特定のアプリケーションやドメインに限定された環境に留まっており、現実世界のコンピュータ使用の多様で複雑な性質を反映できていないため、タスクの範囲とエージェントのスケーラビリティを制限しています。この問題を解決するため、我々はOSWorldを導入します。これは、Ubuntu、Windows、macOSなどの様々なオペレーティングシステムにわたるタスク設定、実行ベースの評価、インタラクティブな学習をサポートする、初のスケーラブルな実コンピュータ環境です。OSWorldは、任意のアプリケーションを含むオープンエンドのコンピュータタスクを評価するための統一された統合コンピュータ環境として機能します。OSWorldを基盤として、現実のウェブおよびデスクトップアプリケーション、OSファイルI/O、複数のアプリケーションにまたがるワークフローを含む369のコンピュータタスクのベンチマークを作成しました。各タスク例は、現実世界のコンピュータ使用ケースに基づいており、詳細な初期状態設定構成と、信頼性のある再現可能な評価のためのカスタム実行ベースの評価スクリプトを含んでいます。OSWorldでの最先端のLLM/VLMベースのエージェントの広範な評価により、コンピュータアシスタントとしての能力に重大な欠陥があることが明らかになりました。人間は72.36%以上のタスクを達成できるのに対し、最良のモデルはわずか12.24%の成功率に留まり、主にGUIのグラウンディングと操作知識に苦戦しています。OSWorldを使用した包括的な分析は、以前のベンチマークでは不可能だったマルチモーダル汎用エージェントの開発に貴重な洞察を提供します。我々のコード、環境、ベースラインモデル、データはhttps://os-world.github.ioで公開されています。

English

Autonomous agents that accomplish complex computer tasks with minimal human interventions have the potential to transform human-computer interaction, significantly enhancing accessibility and productivity. However, existing benchmarks either lack an interactive environment or are limited to environments specific to certain applications or domains, failing to reflect the diverse and complex nature of real-world computer use, thereby limiting the scope of tasks and agent scalability. To address this issue, we introduce OSWorld, the first-of-its-kind scalable, real computer environment for multimodal agents, supporting task setup, execution-based evaluation, and interactive learning across various operating systems such as Ubuntu, Windows, and macOS. OSWorld can serve as a unified, integrated computer environment for assessing open-ended computer tasks that involve arbitrary applications. Building upon OSWorld, we create a benchmark of 369 computer tasks involving real web and desktop apps in open domains, OS file I/O, and workflows spanning multiple applications. Each task example is derived from real-world computer use cases and includes a detailed initial state setup configuration and a custom execution-based evaluation script for reliable, reproducible evaluation. Extensive evaluation of state-of-the-art LLM/VLM-based agents on OSWorld reveals significant deficiencies in their ability to serve as computer assistants. While humans can accomplish over 72.36% of the tasks, the best model achieves only 12.24% success, primarily struggling with GUI grounding and operational knowledge. Comprehensive analysis using OSWorld provides valuable insights for developing multimodal generalist agents that were not possible with previous benchmarks. Our code, environment, baseline models, and data are publicly available at https://os-world.github.io.