LearnAct: Agente de Interface Gráfica Móvel com Poucos Exemplos e um Benchmark Unificado de Demonstração

LearnAct: Few-Shot Mobile GUI Agent with a Unified Demonstration Benchmark

April 18, 2025

Autores: Guangyi Liu, Pengxiang Zhao, Liang Liu, Zhiming Chen, Yuxiang Chai, Shuai Ren, Hao Wang, Shibo He, Wenchao Meng

cs.AI

Resumo

Agentes de interface gráfica móvel mostram potencial na automação de tarefas, mas enfrentam desafios de generalização em diversos cenários do mundo real. Abordagens tradicionais que utilizam pré-treinamento ou ajuste fino com grandes conjuntos de dados lutam com a diversidade de aplicativos móveis e tarefas específicas do usuário. Propomos aprimorar as capacidades dos agentes de GUI móvel por meio de demonstrações humanas, focando na melhoria do desempenho em cenários não vistos, em vez de buscar uma generalização universal através de conjuntos de dados maiores. Para concretizar esse paradigma, introduzimos o LearnGUI, o primeiro conjunto de dados abrangente projetado especificamente para estudar o aprendizado baseado em demonstrações em agentes de GUI móvel, composto por 2.252 tarefas offline e 101 tarefas online com demonstrações humanas de alta qualidade. Desenvolvemos ainda o LearnAct, um sofisticado framework multiagente que extrai automaticamente conhecimento das demonstrações para melhorar a conclusão de tarefas. Esse framework integra três agentes especializados: DemoParser para extração de conhecimento, KnowSeeker para recuperação de conhecimento relevante e ActExecutor para execução de tarefas aprimoradas por demonstrações. Nossos resultados experimentais mostram ganhos significativos de desempenho tanto em avaliações offline quanto online. Nas avaliações offline, uma única demonstração melhora o desempenho do modelo, aumentando a precisão do Gemini-1.5-Pro de 19,3% para 51,7%. Nas avaliações online, nosso framework aumenta a taxa de sucesso de tarefas do UI-TARS-7B-SFT de 18,1% para 32,8%. O framework LearnAct e o benchmark LearnGUI estabelecem o aprendizado baseado em demonstrações como uma direção promissora para agentes de GUI móvel mais adaptáveis, personalizados e implantáveis.

English

Mobile GUI agents show promise in automating tasks but face generalization challenges in diverse real-world scenarios. Traditional approaches using pre-training or fine-tuning with massive datasets struggle with the diversity of mobile applications and user-specific tasks. We propose enhancing mobile GUI agent capabilities through human demonstrations, focusing on improving performance in unseen scenarios rather than pursuing universal generalization through larger datasets. To realize this paradigm, we introduce LearnGUI, the first comprehensive dataset specifically designed for studying demonstration-based learning in mobile GUI agents, comprising 2,252 offline tasks and 101 online tasks with high-quality human demonstrations. We further develop LearnAct, a sophisticated multi-agent framework that automatically extracts knowledge from demonstrations to enhance task completion. This framework integrates three specialized agents: DemoParser for knowledge extraction, KnowSeeker for relevant knowledge retrieval, and ActExecutor for demonstration-enhanced task execution. Our experimental results show significant performance gains in both offline and online evaluations. In offline assessments, a single demonstration improves model performance, increasing Gemini-1.5-Pro's accuracy from 19.3% to 51.7%. In online evaluations, our framework enhances UI-TARS-7B-SFT's task success rate from 18.1% to 32.8%. LearnAct framework and LearnGUI benchmark establish demonstration-based learning as a promising direction for more adaptable, personalized, and deployable mobile GUI agents.