VideoGUI: Een Benchmark voor GUI-automatisering vanuit Instructievideo's

VideoGUI: A Benchmark for GUI Automation from Instructional Videos

June 14, 2024

Auteurs: Kevin Qinghong Lin, Linjie Li, Difei Gao, Qinchen WU, Mingyi Yan, Zhengyuan Yang, Lijuan Wang, Mike Zheng Shou

cs.AI

Samenvatting

Graphical User Interface (GUI)-automatisering biedt aanzienlijk potentieel om de menselijke productiviteit te verbeteren door assistentie te bieden bij computertaken. Bestaande taakformuleringen richten zich voornamelijk op eenvoudige taken die kunnen worden gespecificeerd met een enkele, taalgebonden instructie, zoals "Voeg een nieuwe dia toe." In dit werk introduceren we VideoGUI, een nieuwe multimodale benchmark die is ontworpen om GUI-assistenten te evalueren op visueel gerichte GUI-taken. Onze benchmark, afkomstig uit hoogwaardige webinstructievideo's, richt zich op taken die professionele en nieuwe software (bijv. Adobe Photoshop of Stable Diffusion WebUI) en complexe activiteiten (bijv. videobewerking) omvatten. VideoGUI evalueert GUI-assistenten via een hiërarchisch proces, waardoor specifieke niveaus waarop ze mogelijk falen kunnen worden geïdentificeerd: (i) hoogwaardige planning: reconstrueer procedurele subtaken vanuit visuele condities zonder taalgebonden beschrijvingen; (ii) middenniveau planning: genereer sequenties van precieze actiebeschrijvingen op basis van visuele toestand (d.w.z. schermafbeelding) en doelen; (iii) uitvoering van atomische acties: voer specifieke acties uit, zoals het nauwkeurig klikken op aangewezen elementen. Voor elk niveau ontwerpen we evaluatiemetrics over individuele dimensies om duidelijke signalen te bieden, zoals individuele prestaties in klikken, slepen, typen en scrollen voor de uitvoering van atomische acties. Onze evaluatie op VideoGUI toont aan dat zelfs het state-of-the-art grote multimodale model GPT4o slecht presteert op visueel gerichte GUI-taken, met name voor hoogwaardige planning.

English

Graphical User Interface (GUI) automation holds significant promise for enhancing human productivity by assisting with computer tasks. Existing task formulations primarily focus on simple tasks that can be specified by a single, language-only instruction, such as "Insert a new slide." In this work, we introduce VideoGUI, a novel multi-modal benchmark designed to evaluate GUI assistants on visual-centric GUI tasks. Sourced from high-quality web instructional videos, our benchmark focuses on tasks involving professional and novel software (e.g., Adobe Photoshop or Stable Diffusion WebUI) and complex activities (e.g., video editing). VideoGUI evaluates GUI assistants through a hierarchical process, allowing for identification of the specific levels at which they may fail: (i) high-level planning: reconstruct procedural subtasks from visual conditions without language descriptions; (ii) middle-level planning: generate sequences of precise action narrations based on visual state (i.e., screenshot) and goals; (iii) atomic action execution: perform specific actions such as accurately clicking designated elements. For each level, we design evaluation metrics across individual dimensions to provide clear signals, such as individual performance in clicking, dragging, typing, and scrolling for atomic action execution. Our evaluation on VideoGUI reveals that even the SoTA large multimodal model GPT4o performs poorly on visual-centric GUI tasks, especially for high-level planning.