OmniACT: Набор данных и эталон для создания мультимодальных универсальных автономных агентов для работы с десктопом и вебом

OmniACT: A Dataset and Benchmark for Enabling Multimodal Generalist Autonomous Agents for Desktop and Web

February 27, 2024

Авторы: Raghav Kapoor, Yash Parag Butala, Melisa Russak, Jing Yu Koh, Kiran Kamble, Waseem Alshikh, Ruslan Salakhutdinov

cs.AI

Аннотация

На протяжении десятилетий взаимодействие человека с компьютером было преимущественно ручным. Даже сегодня практически вся продуктивная работа на компьютере требует человеческого вмешательства на каждом этапе. Автономные виртуальные агенты представляют собой важный шаг в автоматизации многих из этих рутинных задач. Виртуальные агенты позволят пользователям с ограниченными техническими навыками использовать все возможности компьютерных систем. Они также могут способствовать эффективной оптимизации множества компьютерных задач, от управления календарем до сложных бронирований путешествий, с минимальным вмешательством человека. В данной статье мы представляем OmniACT — первый в своем роде набор данных и эталонный тест для оценки способности агента генерировать исполняемые программы для выполнения компьютерных задач. Наш подход выходит за рамки традиционной автоматизации веб-приложений, охватывая широкий спектр настольных приложений. Набор данных включает как базовые задачи, такие как "Воспроизвести следующую песню", так и более сложные, например "Отправить письмо Джону Доу с указанием времени и места встречи". Конкретно, задача заключается в генерации скрипта, способного полностью выполнить задачу, на основе пары "изображение экрана" и "естественно-языковой задачи, привязанной к визуальному контексту". Мы протестировали несколько мощных языковых моделей на нашем эталонном тесте. Наилучший результат показала модель GPT-4, однако ее уровень производительности достигает лишь 15% от человеческого мастерства в генерации исполняемых скриптов, способных выполнить задачу, что подчеркивает сложность нашей задачи для традиционных веб-агентов. Наш эталонный тест предоставляет платформу для измерения и оценки прогресса языковых моделей в автоматизации компьютерных задач и стимулирует дальнейшие исследования в области создания мультимодальных моделей, объединяющих крупные языковые модели и визуальное восприятие компьютерных экранов.

English

For decades, human-computer interaction has fundamentally been manual. Even today, almost all productive work done on the computer necessitates human input at every step. Autonomous virtual agents represent an exciting step in automating many of these menial tasks. Virtual agents would empower users with limited technical proficiency to harness the full possibilities of computer systems. They could also enable the efficient streamlining of numerous computer tasks, ranging from calendar management to complex travel bookings, with minimal human intervention. In this paper, we introduce OmniACT, the first-of-a-kind dataset and benchmark for assessing an agent's capability to generate executable programs to accomplish computer tasks. Our scope extends beyond traditional web automation, covering a diverse range of desktop applications. The dataset consists of fundamental tasks such as "Play the next song", as well as longer horizon tasks such as "Send an email to John Doe mentioning the time and place to meet". Specifically, given a pair of screen image and a visually-grounded natural language task, the goal is to generate a script capable of fully executing the task. We run several strong baseline language model agents on our benchmark. The strongest baseline, GPT-4, performs the best on our benchmark However, its performance level still reaches only 15% of the human proficiency in generating executable scripts capable of completing the task, demonstrating the challenge of our task for conventional web agents. Our benchmark provides a platform to measure and evaluate the progress of language model agents in automating computer tasks and motivates future work towards building multimodal models that bridge large language models and the visual grounding of computer screens.