OmniACT: Un conjunto de datos y punto de referencia para habilitar agentes autónomos generalistas multimodales en entornos de escritorio y web

OmniACT: A Dataset and Benchmark for Enabling Multimodal Generalist Autonomous Agents for Desktop and Web

February 27, 2024

Autores: Raghav Kapoor, Yash Parag Butala, Melisa Russak, Jing Yu Koh, Kiran Kamble, Waseem Alshikh, Ruslan Salakhutdinov

cs.AI

Resumen

Durante décadas, la interacción humano-computadora ha sido fundamentalmente manual. Incluso hoy en día, casi todo el trabajo productivo realizado en la computadora requiere de la intervención humana en cada paso. Los agentes virtuales autónomos representan un avance emocionante en la automatización de muchas de estas tareas rutinarias. Estos agentes virtuales permitirían a usuarios con conocimientos técnicos limitados aprovechar al máximo las posibilidades de los sistemas informáticos. También podrían facilitar la optimización eficiente de numerosas tareas informáticas, desde la gestión de calendarios hasta reservas de viajes complejas, con una intervención humana mínima. En este artículo, presentamos OmniACT, el primer conjunto de datos y punto de referencia de su tipo para evaluar la capacidad de un agente de generar programas ejecutables que realicen tareas informáticas. Nuestro alcance va más allá de la automatización web tradicional, abarcando una amplia gama de aplicaciones de escritorio. El conjunto de datos incluye tareas básicas como "Reproducir la siguiente canción", así como tareas de mayor duración como "Enviar un correo electrónico a John Doe mencionando la hora y el lugar de la reunión". Específicamente, dado un par de imagen de pantalla y una tarea en lenguaje natural basada en lo visual, el objetivo es generar un script capaz de ejecutar completamente la tarea. Ejecutamos varios agentes de modelos de lenguaje sólidos como líneas base en nuestro punto de referencia. La línea base más fuerte, GPT-4, es la que mejor se desempeña en nuestro punto de referencia. Sin embargo, su nivel de rendimiento alcanza solo el 15% de la competencia humana en la generación de scripts ejecutables capaces de completar la tarea, lo que demuestra el desafío que representa nuestra tarea para los agentes web convencionales. Nuestro punto de referencia proporciona una plataforma para medir y evaluar el progreso de los agentes de modelos de lenguaje en la automatización de tareas informáticas, y motiva trabajos futuros hacia la construcción de modelos multimodales que conecten los grandes modelos de lenguaje con el anclaje visual de las pantallas de computadora.

English

For decades, human-computer interaction has fundamentally been manual. Even today, almost all productive work done on the computer necessitates human input at every step. Autonomous virtual agents represent an exciting step in automating many of these menial tasks. Virtual agents would empower users with limited technical proficiency to harness the full possibilities of computer systems. They could also enable the efficient streamlining of numerous computer tasks, ranging from calendar management to complex travel bookings, with minimal human intervention. In this paper, we introduce OmniACT, the first-of-a-kind dataset and benchmark for assessing an agent's capability to generate executable programs to accomplish computer tasks. Our scope extends beyond traditional web automation, covering a diverse range of desktop applications. The dataset consists of fundamental tasks such as "Play the next song", as well as longer horizon tasks such as "Send an email to John Doe mentioning the time and place to meet". Specifically, given a pair of screen image and a visually-grounded natural language task, the goal is to generate a script capable of fully executing the task. We run several strong baseline language model agents on our benchmark. The strongest baseline, GPT-4, performs the best on our benchmark However, its performance level still reaches only 15% of the human proficiency in generating executable scripts capable of completing the task, demonstrating the challenge of our task for conventional web agents. Our benchmark provides a platform to measure and evaluate the progress of language model agents in automating computer tasks and motivates future work towards building multimodal models that bridge large language models and the visual grounding of computer screens.