AgentTrek: Webチュートリアルを用いたガイディングリプレイによるエージェント軌跡の合成

AgentTrek: Agent Trajectory Synthesis via Guiding Replay with Web Tutorials

December 12, 2024

著者: Yiheng Xu, Dunjie Lu, Zhennan Shen, Junli Wang, Zekun Wang, Yuchen Mao, Caiming Xiong, Tao Yu

cs.AI

要旨

グラフィカルユーザーインターフェース（GUI）エージェントは、ウェブアプリケーションからデスクトップソフトウェアまで、さまざまなデジタル環境で複雑なタスクを自動化する可能性を秘めています。ただし、このようなエージェントの開発は、効果的なトレーニングに必要な高品質な多段階軌跡データの不足によって妨げられています。既存のアプローチは、高コストで労力のかかる人手による注釈に依存しており、規模での持続可能性に欠けています。この課題に対処するために、私たちはAgentTrekを提案します。これは、ウェブチュートリアルを活用して高品質なGUIエージェント軌跡を生成するスケーラブルなデータ合成パイプラインです。当該手法は、自動的にインターネットからチュートリアル風のテキストを収集し、それらをステップバイステップの指示付きタスク目標に変換し、視覚言語モデルエージェントを使用して実際のデジタル環境でその実行をシミュレートします。VLMベースの評価者によって生成された軌跡の正確性が確認されます。これらの合成された軌跡でGUIエージェントをトレーニングすることで、現行モデルよりも接地性と計画性能が著しく向上することを示します。さらに、従来の人手による注釈方法と比較して、私たちのアプローチはよりコスト効率が良いことが確認されています。この研究は、ウェブチュートリアルを用いたガイド付きリプレイが大規模なGUIエージェントトレーニングのための実行可能な戦略であることを強調し、より能力の高い自律型デジタルエージェントへの道を開いています。

English

Graphical User Interface (GUI) agents hold great potential for automating complex tasks across diverse digital environments, from web applications to desktop software. However, the development of such agents is hindered by the lack of high-quality, multi-step trajectory data required for effective training. Existing approaches rely on expensive and labor-intensive human annotation, making them unsustainable at scale. To address this challenge, we propose AgentTrek, a scalable data synthesis pipeline that generates high-quality GUI agent trajectories by leveraging web tutorials. Our method automatically gathers tutorial-like texts from the internet, transforms them into task goals with step-by-step instructions, and employs a visual-language model agent to simulate their execution in a real digital environment. A VLM-based evaluator ensures the correctness of the generated trajectories. We demonstrate that training GUI agents with these synthesized trajectories significantly improves their grounding and planning performance over the current models. Moreover, our approach is more cost-efficient compared to traditional human annotation methods. This work underscores the potential of guided replay with web tutorials as a viable strategy for large-scale GUI agent training, paving the way for more capable and autonomous digital agents.