LearnAct : Agent mobile d'interface graphique en apprentissage par quelques exemples avec un benchmark unifié de démonstration

LearnAct: Few-Shot Mobile GUI Agent with a Unified Demonstration Benchmark

April 18, 2025

Auteurs: Guangyi Liu, Pengxiang Zhao, Liang Liu, Zhiming Chen, Yuxiang Chai, Shuai Ren, Hao Wang, Shibo He, Wenchao Meng

cs.AI

Résumé

Les agents d'interface graphique mobile (GUI) montrent un potentiel prometteur pour l'automatisation des tâches, mais se heurtent à des défis de généralisation dans des scénarios réels diversifiés. Les approches traditionnelles utilisant le pré-entraînement ou le fine-tuning avec des ensembles de données massifs peinent à gérer la diversité des applications mobiles et des tâches spécifiques aux utilisateurs. Nous proposons d'améliorer les capacités des agents GUI mobiles grâce à des démonstrations humaines, en nous concentrant sur l'amélioration des performances dans des scénarios inédits plutôt que de viser une généralisation universelle via des ensembles de données plus vastes. Pour concrétiser ce paradigme, nous introduisons LearnGUI, le premier ensemble de données complet spécialement conçu pour étudier l'apprentissage basé sur les démonstrations pour les agents GUI mobiles, comprenant 2 252 tâches hors ligne et 101 tâches en ligne avec des démonstrations humaines de haute qualité. Nous développons également LearnAct, un cadre multi-agent sophistiqué qui extrait automatiquement des connaissances à partir des démonstrations pour améliorer l'exécution des tâches. Ce cadre intègre trois agents spécialisés : DemoParser pour l'extraction de connaissances, KnowSeeker pour la récupération de connaissances pertinentes, et ActExecutor pour l'exécution des tâches améliorée par les démonstrations. Nos résultats expérimentaux montrent des gains de performance significatifs dans les évaluations hors ligne et en ligne. Dans les évaluations hors ligne, une seule démonstration améliore les performances du modèle, augmentant la précision de Gemini-1.5-Pro de 19,3 % à 51,7 %. Dans les évaluations en ligne, notre cadre améliore le taux de réussite des tâches de UI-TARS-7B-SFT de 18,1 % à 32,8 %. Le cadre LearnAct et le benchmark LearnGUI établissent l'apprentissage basé sur les démonstrations comme une direction prometteuse pour des agents GUI mobiles plus adaptables, personnalisés et déployables.

English

Mobile GUI agents show promise in automating tasks but face generalization challenges in diverse real-world scenarios. Traditional approaches using pre-training or fine-tuning with massive datasets struggle with the diversity of mobile applications and user-specific tasks. We propose enhancing mobile GUI agent capabilities through human demonstrations, focusing on improving performance in unseen scenarios rather than pursuing universal generalization through larger datasets. To realize this paradigm, we introduce LearnGUI, the first comprehensive dataset specifically designed for studying demonstration-based learning in mobile GUI agents, comprising 2,252 offline tasks and 101 online tasks with high-quality human demonstrations. We further develop LearnAct, a sophisticated multi-agent framework that automatically extracts knowledge from demonstrations to enhance task completion. This framework integrates three specialized agents: DemoParser for knowledge extraction, KnowSeeker for relevant knowledge retrieval, and ActExecutor for demonstration-enhanced task execution. Our experimental results show significant performance gains in both offline and online evaluations. In offline assessments, a single demonstration improves model performance, increasing Gemini-1.5-Pro's accuracy from 19.3% to 51.7%. In online evaluations, our framework enhances UI-TARS-7B-SFT's task success rate from 18.1% to 32.8%. LearnAct framework and LearnGUI benchmark establish demonstration-based learning as a promising direction for more adaptable, personalized, and deployable mobile GUI agents.