Aguvis: 自律GUIインタラクションのための統一された純粋ビジョンエージェント

Aguvis: Unified Pure Vision Agents for Autonomous GUI Interaction

December 5, 2024

著者: Yiheng Xu, Zekun Wang, Junli Wang, Dunjie Lu, Tianbao Xie, Amrita Saha, Doyen Sahoo, Tao Yu, Caiming Xiong

cs.AI

要旨

グラフィカルユーザーインターフェース（GUI）は人間とコンピュータの相互作用において重要ですが、視覚環境の複雑さと変動性のため、GUIタスクの自動化は依然として困難です。既存のアプローチは、GUIのテキスト表現に依存することが一般化、効率、拡張性に制限をもたらします。本論文では、様々なプラットフォームで運用される自律GUIエージェントのための統一された純粋なビジョンベースのフレームワークであるAguvisを紹介します。当該アプローチは、画像ベースの観測を活用し、自然言語での指示を視覚要素に結びつけ、一貫したアクション空間を用いてクロスプラットフォームの一般化を確保します。以前の研究の制限に対処するために、明示的な計画と推論をモデルに統合し、複雑なデジタル環境での自律的なナビゲーションと相互作用能力を向上させます。GUIエージェントの軌跡の大規模データセットを構築し、多モーダルな推論と結びつけを組み込み、一般的なGUI結びつけに焦点を当てた2段階のトレーニングパイプラインを採用します。包括的な実験を通じて、Aguvisがオフラインおよびリアルワールドのオンラインシナリオの両方で以前の最先端手法を凌駕し、外部のクローズドソースモデルとの協力なしに独立してタスクを実行できる初の完全自律純粋ビジョンGUIエージェントを達成したことを示します。すべてのデータセット、モデル、トレーニング手順をオープンソース化し、今後の研究を促進するためにhttps://aguvis-project.github.io/で公開しています。

English

Graphical User Interfaces (GUIs) are critical to human-computer interaction, yet automating GUI tasks remains challenging due to the complexity and variability of visual environments. Existing approaches often rely on textual representations of GUIs, which introduce limitations in generalization, efficiency, and scalability. In this paper, we introduce Aguvis, a unified pure vision-based framework for autonomous GUI agents that operates across various platforms. Our approach leverages image-based observations, and grounding instructions in natural language to visual elements, and employs a consistent action space to ensure cross-platform generalization. To address the limitations of previous work, we integrate explicit planning and reasoning within the model, enhancing its ability to autonomously navigate and interact with complex digital environments. We construct a large-scale dataset of GUI agent trajectories, incorporating multimodal reasoning and grounding, and employ a two-stage training pipeline that first focuses on general GUI grounding, followed by planning and reasoning. Through comprehensive experiments, we demonstrate that Aguvis surpasses previous state-of-the-art methods in both offline and real-world online scenarios, achieving, to our knowledge, the first fully autonomous pure vision GUI agent capable of performing tasks independently without collaboration with external closed-source models. We open-sourced all datasets, models, and training recipes to facilitate future research at https://aguvis-project.github.io/.