VideoGUI: Бенчмарк для автоматизации графического интерфейса пользователя из обучающих видеороликов

VideoGUI: A Benchmark for GUI Automation from Instructional Videos

June 14, 2024

Авторы: Kevin Qinghong Lin, Linjie Li, Difei Gao, Qinchen WU, Mingyi Yan, Zhengyuan Yang, Lijuan Wang, Mike Zheng Shou

cs.AI

Аннотация

Автоматизация графического пользовательского интерфейса (GUI) обладает значительным потенциалом для повышения производительности человека путем помощи в выполнении компьютерных задач. Существующие формулировки задач в основном сосредоточены на простых задачах, которые могут быть указаны одним языковым инструктажем, таким как "Вставить новый слайд". В данной работе мы представляем VideoGUI, новый мультимодальный бенчмарк, разработанный для оценки GUI-ассистентов на визуально-ориентированных задачах GUI. Наш бенчмарк, полученный из высококачественных обучающих видеороликов в сети, фокусируется на задачах, связанных с профессиональным и новым программным обеспечением (например, Adobe Photoshop или Stable Diffusion WebUI) и сложными действиями (например, видеомонтаж). VideoGUI оценивает GUI-ассистентов через иерархический процесс, позволяя выявить конкретные уровни, на которых они могут потерпеть неудачу: (i) планирование на высоком уровне: восстановление процедурных подзадач из визуальных условий без языковых описаний; (ii) планирование на среднем уровне: генерация последовательностей точных действий на основе визуального состояния (т.е. снимка экрана) и целей; (iii) выполнение атомарных действий: выполнение конкретных действий, таких как точное нажатие на обозначенные элементы. Для каждого уровня мы разрабатываем метрики оценки по отдельным измерениям для предоставления четких сигналов, таких как индивидуальная производительность в нажатии, перетаскивании, наборе текста и прокрутке для выполнения атомарных действий. Наша оценка на VideoGUI показывает, что даже передовая многомодельная модель GPT4o показывает плохие результаты на визуально-ориентированных задачах GUI, особенно в планировании на высоком уровне.

English

Graphical User Interface (GUI) automation holds significant promise for enhancing human productivity by assisting with computer tasks. Existing task formulations primarily focus on simple tasks that can be specified by a single, language-only instruction, such as "Insert a new slide." In this work, we introduce VideoGUI, a novel multi-modal benchmark designed to evaluate GUI assistants on visual-centric GUI tasks. Sourced from high-quality web instructional videos, our benchmark focuses on tasks involving professional and novel software (e.g., Adobe Photoshop or Stable Diffusion WebUI) and complex activities (e.g., video editing). VideoGUI evaluates GUI assistants through a hierarchical process, allowing for identification of the specific levels at which they may fail: (i) high-level planning: reconstruct procedural subtasks from visual conditions without language descriptions; (ii) middle-level planning: generate sequences of precise action narrations based on visual state (i.e., screenshot) and goals; (iii) atomic action execution: perform specific actions such as accurately clicking designated elements. For each level, we design evaluation metrics across individual dimensions to provide clear signals, such as individual performance in clicking, dragging, typing, and scrolling for atomic action execution. Our evaluation on VideoGUI reveals that even the SoTA large multimodal model GPT4o performs poorly on visual-centric GUI tasks, especially for high-level planning.