OmniACT: Ein Datensatz und Benchmark zur Ermöglichung multimodaler Generalist-Autonomer Agenten für Desktop und Web

OmniACT: A Dataset and Benchmark for Enabling Multimodal Generalist Autonomous Agents for Desktop and Web

February 27, 2024

Autoren: Raghav Kapoor, Yash Parag Butala, Melisa Russak, Jing Yu Koh, Kiran Kamble, Waseem Alshikh, Ruslan Salakhutdinov

cs.AI

Zusammenfassung

Seit Jahrzehnten basiert die Mensch-Computer-Interaktion im Wesentlichen auf manuellen Eingaben. Selbst heute erfordert nahezu jede produktive Arbeit am Computer menschliche Eingaben in jedem Schritt. Autonome virtuelle Agenten stellen einen spannenden Schritt dar, um viele dieser monotonen Aufgaben zu automatisieren. Virtuelle Agenten würden Benutzern mit begrenzten technischen Kenntnissen ermöglichen, die vollen Möglichkeiten von Computersystemen zu nutzen. Sie könnten auch die effiziente Optimierung zahlreicher Computeraufgaben ermöglichen, von der Kalenderverwaltung bis hin zu komplexen Reisebuchungen, mit minimalem menschlichen Eingriff. In diesem Artikel stellen wir OmniACT vor, das erste seiner Art Datensatz und Benchmark zur Bewertung der Fähigkeit eines Agenten, ausführbare Programme zur Erledigung von Computeraufgaben zu generieren. Unser Umfang geht über die traditionelle Webautomatisierung hinaus und deckt eine Vielzahl von Desktop-Anwendungen ab. Der Datensatz besteht aus grundlegenden Aufgaben wie „Spiele den nächsten Song ab“ sowie längerfristigen Aufgaben wie „Sende eine E-Mail an John Doe mit der Zeit und dem Ort des Treffens“. Konkret besteht das Ziel darin, bei einem Paar aus Bildschirmbild und einer visuell verankerten natürlichen Sprachaufgabe ein Skript zu generieren, das in der Lage ist, die Aufgabe vollständig auszuführen. Wir testen mehrere starke Baseline-Sprachmodell-Agenten auf unserem Benchmark. Der stärkste Baseline-Agent, GPT-4, schneidet auf unserem Benchmark am besten ab. Sein Leistungsniveau erreicht jedoch nur 15 % der menschlichen Fähigkeit, ausführbare Skripte zu generieren, die die Aufgabe erledigen können, was die Herausforderung unserer Aufgabe für konventionelle Web-Agenten verdeutlicht. Unser Benchmark bietet eine Plattform, um den Fortschritt von Sprachmodell-Agenten bei der Automatisierung von Computeraufgaben zu messen und zu bewerten, und motiviert zukünftige Arbeiten zum Aufbau multimodaler Modelle, die große Sprachmodelle und die visuelle Verankerung von Computerbildschirmen verbinden.

English

For decades, human-computer interaction has fundamentally been manual. Even today, almost all productive work done on the computer necessitates human input at every step. Autonomous virtual agents represent an exciting step in automating many of these menial tasks. Virtual agents would empower users with limited technical proficiency to harness the full possibilities of computer systems. They could also enable the efficient streamlining of numerous computer tasks, ranging from calendar management to complex travel bookings, with minimal human intervention. In this paper, we introduce OmniACT, the first-of-a-kind dataset and benchmark for assessing an agent's capability to generate executable programs to accomplish computer tasks. Our scope extends beyond traditional web automation, covering a diverse range of desktop applications. The dataset consists of fundamental tasks such as "Play the next song", as well as longer horizon tasks such as "Send an email to John Doe mentioning the time and place to meet". Specifically, given a pair of screen image and a visually-grounded natural language task, the goal is to generate a script capable of fully executing the task. We run several strong baseline language model agents on our benchmark. The strongest baseline, GPT-4, performs the best on our benchmark However, its performance level still reaches only 15% of the human proficiency in generating executable scripts capable of completing the task, demonstrating the challenge of our task for conventional web agents. Our benchmark provides a platform to measure and evaluate the progress of language model agents in automating computer tasks and motivates future work towards building multimodal models that bridge large language models and the visual grounding of computer screens.