VideoGUI: チュートリアル動画からのGUI自動化のためのベンチマーク

VideoGUI: A Benchmark for GUI Automation from Instructional Videos

June 14, 2024

著者: Kevin Qinghong Lin, Linjie Li, Difei Gao, Qinchen WU, Mingyi Yan, Zhengyuan Yang, Lijuan Wang, Mike Zheng Shou

cs.AI

要旨

グラフィカルユーザーインターフェース（GUI）自動化は、コンピュータタスクを支援することで人間の生産性を向上させる大きな可能性を秘めています。既存のタスク定式化は、主に「新しいスライドを挿入する」といった単一の言語のみで指定できる単純なタスクに焦点を当てています。本研究では、視覚中心のGUIタスクにおいてGUIアシスタントを評価するための新しいマルチモーダルベンチマークであるVideoGUIを紹介します。高品質なウェブ指導動画をソースとして、このベンチマークはAdobe PhotoshopやStable Diffusion WebUIなどの専門的で新しいソフトウェアや、ビデオ編集などの複雑な活動を含むタスクに焦点を当てています。VideoGUIは、GUIアシスタントを階層的なプロセスで評価し、特定のレベルで失敗する可能性を特定します：（i）高レベルの計画：言語記述なしで視覚的条件から手続き的サブタスクを再構築する；（ii）中レベルの計画：視覚的状態（スクリーンショット）と目標に基づいて正確なアクションのナレーションシーケンスを生成する；（iii）原子アクションの実行：指定された要素を正確にクリックするなどの特定のアクションを実行する。各レベルにおいて、クリック、ドラッグ、タイピング、スクロールなどの個々の次元でのパフォーマンスを評価するための指標を設計し、明確なシグナルを提供します。VideoGUIでの評価により、SoTAの大規模マルチモーダルモデルであるGPT4oでさえ、視覚中心のGUIタスク、特に高レベルの計画においてパフォーマンスが低いことが明らかになりました。

English

Graphical User Interface (GUI) automation holds significant promise for enhancing human productivity by assisting with computer tasks. Existing task formulations primarily focus on simple tasks that can be specified by a single, language-only instruction, such as "Insert a new slide." In this work, we introduce VideoGUI, a novel multi-modal benchmark designed to evaluate GUI assistants on visual-centric GUI tasks. Sourced from high-quality web instructional videos, our benchmark focuses on tasks involving professional and novel software (e.g., Adobe Photoshop or Stable Diffusion WebUI) and complex activities (e.g., video editing). VideoGUI evaluates GUI assistants through a hierarchical process, allowing for identification of the specific levels at which they may fail: (i) high-level planning: reconstruct procedural subtasks from visual conditions without language descriptions; (ii) middle-level planning: generate sequences of precise action narrations based on visual state (i.e., screenshot) and goals; (iii) atomic action execution: perform specific actions such as accurately clicking designated elements. For each level, we design evaluation metrics across individual dimensions to provide clear signals, such as individual performance in clicking, dragging, typing, and scrolling for atomic action execution. Our evaluation on VideoGUI reveals that even the SoTA large multimodal model GPT4o performs poorly on visual-centric GUI tasks, especially for high-level planning.