OSWorld: Сравнение производительности мультимодальных агентов для задач с открытым концом в реальных компьютерных средах

OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments

April 11, 2024

Авторы: Tianbao Xie, Danyang Zhang, Jixuan Chen, Xiaochuan Li, Siheng Zhao, Ruisheng Cao, Toh Jing Hua, Zhoujun Cheng, Dongchan Shin, Fangyu Lei, Yitao Liu, Yiheng Xu, Shuyan Zhou, Silvio Savarese, Caiming Xiong, Victor Zhong, Tao Yu

cs.AI

Аннотация

Самостоятельные агенты, выполняющие сложные компьютерные задачи с минимальным вмешательством человека, имеют потенциал изменить взаимодействие человека с компьютером, значительно улучшая доступность и производительность. Однако существующие бенчмарки либо не имеют интерактивной среды, либо ограничены средами, специфичными для определенных приложений или областей, не отражая разнообразную и сложную природу использования компьютера в реальном мире, тем самым ограничивая спектр задач и масштабируемость агентов. Для решения этой проблемы мы представляем OSWorld - первую в своем роде масштабируемую реальную компьютерную среду для мультимодальных агентов, поддерживающую настройку задач, оценку на основе выполнения и интерактивное обучение на различных операционных системах, таких как Ubuntu, Windows и macOS. OSWorld может служить единым интегрированным компьютерным окружением для оценки открытых компьютерных задач, включающих произвольные приложения. На основе OSWorld мы создаем бенчмарк из 369 компьютерных задач, включающих реальные веб- и настольные приложения в открытых областях, ввод-вывод файловой системы ОС и рабочие процессы, охватывающие несколько приложений. Каждый пример задачи происходит из реальных случаев использования компьютера и включает подробную настройку начального состояния и сценарий оценки на основе выполнения для надежной и воспроизводимой оценки. Обширное исследование современных агентов на базе LLM/VLM на OSWorld показывает значительные недостатки в их способности выступать в роли компьютерных помощников. В то время как люди могут выполнить более 72,36% задач, лучшая модель достигает лишь 12,24% успеха, в основном испытывая трудности с GUI и операционными знаниями. Комплексный анализ с использованием OSWorld предоставляет ценные идеи для разработки мультимодальных универсальных агентов, которые не были возможны с помощью предыдущих бенчмарков. Наш код, среда, базовые модели и данные доступны публично по адресу https://os-world.github.io.

English

Autonomous agents that accomplish complex computer tasks with minimal human interventions have the potential to transform human-computer interaction, significantly enhancing accessibility and productivity. However, existing benchmarks either lack an interactive environment or are limited to environments specific to certain applications or domains, failing to reflect the diverse and complex nature of real-world computer use, thereby limiting the scope of tasks and agent scalability. To address this issue, we introduce OSWorld, the first-of-its-kind scalable, real computer environment for multimodal agents, supporting task setup, execution-based evaluation, and interactive learning across various operating systems such as Ubuntu, Windows, and macOS. OSWorld can serve as a unified, integrated computer environment for assessing open-ended computer tasks that involve arbitrary applications. Building upon OSWorld, we create a benchmark of 369 computer tasks involving real web and desktop apps in open domains, OS file I/O, and workflows spanning multiple applications. Each task example is derived from real-world computer use cases and includes a detailed initial state setup configuration and a custom execution-based evaluation script for reliable, reproducible evaluation. Extensive evaluation of state-of-the-art LLM/VLM-based agents on OSWorld reveals significant deficiencies in their ability to serve as computer assistants. While humans can accomplish over 72.36% of the tasks, the best model achieves only 12.24% success, primarily struggling with GUI grounding and operational knowledge. Comprehensive analysis using OSWorld provides valuable insights for developing multimodal generalist agents that were not possible with previous benchmarks. Our code, environment, baseline models, and data are publicly available at https://os-world.github.io.