VideoGUI: Un Benchmark per l'Automazione delle GUI da Video Istruttivi

VideoGUI: A Benchmark for GUI Automation from Instructional Videos

June 14, 2024

Autori: Kevin Qinghong Lin, Linjie Li, Difei Gao, Qinchen WU, Mingyi Yan, Zhengyuan Yang, Lijuan Wang, Mike Zheng Shou

cs.AI

Abstract

L'automazione delle interfacce grafiche (GUI) rappresenta una promessa significativa per migliorare la produttività umana assistendo nelle attività informatiche. Le formulazioni di compiti esistenti si concentrano principalmente su attività semplici che possono essere specificate da una singola istruzione testuale, come "Inserisci una nuova diapositiva". In questo lavoro, introduciamo VideoGUI, un nuovo benchmark multimodale progettato per valutare gli assistenti GUI su compiti visivo-centrici. Basato su video didattici di alta qualità disponibili sul web, il nostro benchmark si concentra su attività che coinvolgono software professionali e innovativi (ad esempio, Adobe Photoshop o Stable Diffusion WebUI) e attività complesse (ad esempio, l'editing video). VideoGUI valuta gli assistenti GUI attraverso un processo gerarchico, consentendo l'identificazione dei livelli specifici in cui potrebbero fallire: (i) pianificazione di alto livello: ricostruire sottotask procedurali da condizioni visive senza descrizioni testuali; (ii) pianificazione di medio livello: generare sequenze di azioni precise basate sullo stato visivo (ad esempio, screenshot) e sugli obiettivi; (iii) esecuzione di azioni atomiche: eseguire azioni specifiche come cliccare accuratamente su elementi designati. Per ogni livello, progettiamo metriche di valutazione su dimensioni individuali per fornire segnali chiari, come le prestazioni individuali nel cliccare, trascinare, digitare e scorrere per l'esecuzione di azioni atomiche. La nostra valutazione su VideoGUI rivela che anche il modello multimodale all'avanguardia GPT4o ha prestazioni scarse nei compiti visivo-centrici, specialmente nella pianificazione di alto livello.

English

Graphical User Interface (GUI) automation holds significant promise for enhancing human productivity by assisting with computer tasks. Existing task formulations primarily focus on simple tasks that can be specified by a single, language-only instruction, such as "Insert a new slide." In this work, we introduce VideoGUI, a novel multi-modal benchmark designed to evaluate GUI assistants on visual-centric GUI tasks. Sourced from high-quality web instructional videos, our benchmark focuses on tasks involving professional and novel software (e.g., Adobe Photoshop or Stable Diffusion WebUI) and complex activities (e.g., video editing). VideoGUI evaluates GUI assistants through a hierarchical process, allowing for identification of the specific levels at which they may fail: (i) high-level planning: reconstruct procedural subtasks from visual conditions without language descriptions; (ii) middle-level planning: generate sequences of precise action narrations based on visual state (i.e., screenshot) and goals; (iii) atomic action execution: perform specific actions such as accurately clicking designated elements. For each level, we design evaluation metrics across individual dimensions to provide clear signals, such as individual performance in clicking, dragging, typing, and scrolling for atomic action execution. Our evaluation on VideoGUI reveals that even the SoTA large multimodal model GPT4o performs poorly on visual-centric GUI tasks, especially for high-level planning.