LearnAct: 統一デモンストレーションベンチマークを備えたFew-ShotモバイルGUIエージェント

LearnAct: Few-Shot Mobile GUI Agent with a Unified Demonstration Benchmark

April 18, 2025

著者: Guangyi Liu, Pengxiang Zhao, Liang Liu, Zhiming Chen, Yuxiang Chai, Shuai Ren, Hao Wang, Shibo He, Wenchao Meng

cs.AI

要旨

モバイルGUIエージェントはタスクの自動化において有望ですが、多様な実世界のシナリオでの汎化に課題を抱えています。従来のアプローチでは、大規模なデータセットを用いた事前学習やファインチューニングを行いますが、モバイルアプリケーションの多様性やユーザー固有のタスクに対応するのが困難です。我々は、より大規模なデータセットによる普遍的な汎化を追求するのではなく、人間のデモンストレーションを通じてモバイルGUIエージェントの能力を強化し、未見のシナリオでのパフォーマンス向上に焦点を当てることを提案します。このパラダイムを実現するため、我々はLearnGUIを導入しました。これは、モバイルGUIエージェントにおけるデモンストレーションベースの学習を研究するために特別に設計された初の包括的なデータセットで、2,252のオフラインタスクと101のオンラインタスクからなり、高品質な人間のデモンストレーションを含んでいます。さらに、我々はLearnActを開発しました。これは、デモンストレーションから知識を自動的に抽出してタスク完了を強化する高度なマルチエージェントフレームワークです。このフレームワークは、知識抽出を行うDemoParser、関連知識を検索するKnowSeeker、デモンストレーションを活用してタスクを実行するActExecutorという3つの専門エージェントを統合しています。実験結果は、オフラインおよびオンライン評価の両方で大幅なパフォーマンス向上を示しています。オフライン評価では、単一のデモンストレーションがモデルのパフォーマンスを向上させ、Gemini-1.5-Proの精度を19.3%から51.7%に引き上げました。オンライン評価では、我々のフレームワークがUI-TARS-7B-SFTのタスク成功率を18.1%から32.8%に向上させました。LearnActフレームワークとLearnGUIベンチマークは、デモンストレーションベースの学習が、より適応性が高く、パーソナライズされ、展開可能なモバイルGUIエージェントのための有望な方向性であることを確立しました。

English

Mobile GUI agents show promise in automating tasks but face generalization challenges in diverse real-world scenarios. Traditional approaches using pre-training or fine-tuning with massive datasets struggle with the diversity of mobile applications and user-specific tasks. We propose enhancing mobile GUI agent capabilities through human demonstrations, focusing on improving performance in unseen scenarios rather than pursuing universal generalization through larger datasets. To realize this paradigm, we introduce LearnGUI, the first comprehensive dataset specifically designed for studying demonstration-based learning in mobile GUI agents, comprising 2,252 offline tasks and 101 online tasks with high-quality human demonstrations. We further develop LearnAct, a sophisticated multi-agent framework that automatically extracts knowledge from demonstrations to enhance task completion. This framework integrates three specialized agents: DemoParser for knowledge extraction, KnowSeeker for relevant knowledge retrieval, and ActExecutor for demonstration-enhanced task execution. Our experimental results show significant performance gains in both offline and online evaluations. In offline assessments, a single demonstration improves model performance, increasing Gemini-1.5-Pro's accuracy from 19.3% to 51.7%. In online evaluations, our framework enhances UI-TARS-7B-SFT's task success rate from 18.1% to 32.8%. LearnAct framework and LearnGUI benchmark establish demonstration-based learning as a promising direction for more adaptable, personalized, and deployable mobile GUI agents.