OSWorld: Avaliação de Agentes Multimodais para Tarefas de Final Aberto em Ambientes Computacionais Reais

OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments

April 11, 2024

Autores: Tianbao Xie, Danyang Zhang, Jixuan Chen, Xiaochuan Li, Siheng Zhao, Ruisheng Cao, Toh Jing Hua, Zhoujun Cheng, Dongchan Shin, Fangyu Lei, Yitao Liu, Yiheng Xu, Shuyan Zhou, Silvio Savarese, Caiming Xiong, Victor Zhong, Tao Yu

cs.AI

Resumo

Agentes autônomos que realizam tarefas complexas em computadores com intervenção humana mínima têm o potencial de transformar a interação humano-computador, aumentando significativamente a acessibilidade e a produtividade. No entanto, os benchmarks existentes ou carecem de um ambiente interativo ou estão limitados a ambientes específicos para determinadas aplicações ou domínios, falhando em refletir a natureza diversa e complexa do uso real de computadores, limitando assim o escopo de tarefas e a escalabilidade dos agentes. Para resolver essa questão, introduzimos o OSWorld, o primeiro ambiente de computador real escalável para agentes multimodais, que suporta a configuração de tarefas, avaliação baseada em execução e aprendizado interativo em diversos sistemas operacionais, como Ubuntu, Windows e macOS. O OSWorld pode servir como um ambiente de computador unificado e integrado para avaliar tarefas de computador abertas que envolvem aplicações arbitrárias. Com base no OSWorld, criamos um benchmark de 369 tarefas de computador envolvendo aplicativos reais da web e desktop em domínios abertos, operações de I/O de arquivos do sistema operacional e fluxos de trabalho que abrangem múltiplas aplicações. Cada exemplo de tarefa é derivado de casos de uso real de computadores e inclui uma configuração detalhada do estado inicial e um script de avaliação baseado em execução personalizado para avaliação confiável e reproduzível. Uma avaliação extensiva de agentes baseados em LLM/VLM de última geração no OSWorld revela deficiências significativas em sua capacidade de atuar como assistentes de computador. Enquanto os humanos conseguem realizar mais de 72,36% das tarefas, o melhor modelo alcança apenas 12,24% de sucesso, principalmente lutando com a fundamentação de GUI e o conhecimento operacional. A análise abrangente usando o OSWorld fornece insights valiosos para o desenvolvimento de agentes generalistas multimodais que não eram possíveis com benchmarks anteriores. Nosso código, ambiente, modelos de base e dados estão publicamente disponíveis em https://os-world.github.io.

English

Autonomous agents that accomplish complex computer tasks with minimal human interventions have the potential to transform human-computer interaction, significantly enhancing accessibility and productivity. However, existing benchmarks either lack an interactive environment or are limited to environments specific to certain applications or domains, failing to reflect the diverse and complex nature of real-world computer use, thereby limiting the scope of tasks and agent scalability. To address this issue, we introduce OSWorld, the first-of-its-kind scalable, real computer environment for multimodal agents, supporting task setup, execution-based evaluation, and interactive learning across various operating systems such as Ubuntu, Windows, and macOS. OSWorld can serve as a unified, integrated computer environment for assessing open-ended computer tasks that involve arbitrary applications. Building upon OSWorld, we create a benchmark of 369 computer tasks involving real web and desktop apps in open domains, OS file I/O, and workflows spanning multiple applications. Each task example is derived from real-world computer use cases and includes a detailed initial state setup configuration and a custom execution-based evaluation script for reliable, reproducible evaluation. Extensive evaluation of state-of-the-art LLM/VLM-based agents on OSWorld reveals significant deficiencies in their ability to serve as computer assistants. While humans can accomplish over 72.36% of the tasks, the best model achieves only 12.24% success, primarily struggling with GUI grounding and operational knowledge. Comprehensive analysis using OSWorld provides valuable insights for developing multimodal generalist agents that were not possible with previous benchmarks. Our code, environment, baseline models, and data are publicly available at https://os-world.github.io.