OmniACT: Um Conjunto de Dados e Benchmark para Habilitar Agentes Autônomos Generalistas Multimodais em Desktops e Web
OmniACT: A Dataset and Benchmark for Enabling Multimodal Generalist Autonomous Agents for Desktop and Web
February 27, 2024
Autores: Raghav Kapoor, Yash Parag Butala, Melisa Russak, Jing Yu Koh, Kiran Kamble, Waseem Alshikh, Ruslan Salakhutdinov
cs.AI
Resumo
Durante décadas, a interação humano-computador tem sido fundamentalmente manual. Até hoje, quase todo o trabalho produtivo realizado no computador exige entrada humana em cada etapa. Agentes virtuais autônomos representam um passo emocionante na automação de muitas dessas tarefas repetitivas. Agentes virtuais capacitariam usuários com proficiência técnica limitada a aproveitar todas as possibilidades dos sistemas de computador. Eles também poderiam permitir a otimização eficiente de inúmeras tarefas de computador, desde o gerenciamento de calendários até reservas complexas de viagens, com intervenção humana mínima. Neste artigo, apresentamos o OmniACT, o primeiro conjunto de dados e benchmark do tipo para avaliar a capacidade de um agente de gerar programas executáveis para realizar tarefas de computador. Nosso escopo vai além da automação web tradicional, abrangendo uma variedade diversificada de aplicativos de desktop. O conjunto de dados consiste em tarefas fundamentais, como "Tocar a próxima música", bem como tarefas de longo prazo, como "Enviar um e-mail para John Doe mencionando o horário e o local do encontro". Especificamente, dado um par de imagem da tela e uma tarefa de linguagem natural visualmente fundamentada, o objetivo é gerar um script capaz de executar totalmente a tarefa. Executamos vários agentes de modelo de linguagem de linha de base fortes em nosso benchmark. O baseline mais forte, o GPT-4, tem o melhor desempenho em nosso benchmark. No entanto, seu nível de desempenho ainda atinge apenas 15% da proficiência humana na geração de scripts executáveis capazes de concluir a tarefa, demonstrando o desafio de nossa tarefa para agentes web convencionais. Nosso benchmark fornece uma plataforma para medir e avaliar o progresso de agentes de modelo de linguagem na automação de tarefas de computador e motiva trabalhos futuros na construção de modelos multimodais que unem grandes modelos de linguagem e a fundamentação visual de telas de computador.
English
For decades, human-computer interaction has fundamentally been manual. Even
today, almost all productive work done on the computer necessitates human input
at every step. Autonomous virtual agents represent an exciting step in
automating many of these menial tasks. Virtual agents would empower users with
limited technical proficiency to harness the full possibilities of computer
systems. They could also enable the efficient streamlining of numerous computer
tasks, ranging from calendar management to complex travel bookings, with
minimal human intervention. In this paper, we introduce OmniACT, the
first-of-a-kind dataset and benchmark for assessing an agent's capability to
generate executable programs to accomplish computer tasks. Our scope extends
beyond traditional web automation, covering a diverse range of desktop
applications. The dataset consists of fundamental tasks such as "Play the next
song", as well as longer horizon tasks such as "Send an email to John Doe
mentioning the time and place to meet". Specifically, given a pair of screen
image and a visually-grounded natural language task, the goal is to generate a
script capable of fully executing the task. We run several strong baseline
language model agents on our benchmark. The strongest baseline, GPT-4, performs
the best on our benchmark However, its performance level still reaches only 15%
of the human proficiency in generating executable scripts capable of completing
the task, demonstrating the challenge of our task for conventional web agents.
Our benchmark provides a platform to measure and evaluate the progress of
language model agents in automating computer tasks and motivates future work
towards building multimodal models that bridge large language models and the
visual grounding of computer screens.