LearnAct: Agente de GUI móvil con pocos ejemplos y un banco de pruebas unificado de demostraciones

LearnAct: Few-Shot Mobile GUI Agent with a Unified Demonstration Benchmark

April 18, 2025

Autores: Guangyi Liu, Pengxiang Zhao, Liang Liu, Zhiming Chen, Yuxiang Chai, Shuai Ren, Hao Wang, Shibo He, Wenchao Meng

cs.AI

Resumen

Los agentes de GUI móviles muestran potencial para automatizar tareas, pero enfrentan desafíos de generalización en diversos escenarios del mundo real. Los enfoques tradicionales que utilizan preentrenamiento o ajuste fino con grandes conjuntos de datos luchan con la diversidad de aplicaciones móviles y tareas específicas del usuario. Proponemos mejorar las capacidades de los agentes de GUI móviles a través de demostraciones humanas, centrándonos en mejorar el rendimiento en escenarios no vistos en lugar de perseguir una generalización universal mediante conjuntos de datos más grandes. Para materializar este paradigma, presentamos LearnGUI, el primer conjunto de datos integral diseñado específicamente para estudiar el aprendizaje basado en demostraciones en agentes de GUI móviles, que comprende 2,252 tareas offline y 101 tareas online con demostraciones humanas de alta calidad. Además, desarrollamos LearnAct, un sofisticado marco de trabajo multiagente que extrae automáticamente conocimiento de las demostraciones para mejorar la finalización de tareas. Este marco integra tres agentes especializados: DemoParser para la extracción de conocimiento, KnowSeeker para la recuperación de conocimiento relevante y ActExecutor para la ejecución de tareas mejoradas con demostraciones. Nuestros resultados experimentales muestran mejoras significativas en el rendimiento tanto en evaluaciones offline como online. En las evaluaciones offline, una sola demostración mejora el rendimiento del modelo, aumentando la precisión de Gemini-1.5-Pro del 19.3% al 51.7%. En las evaluaciones online, nuestro marco mejora la tasa de éxito de tareas de UI-TARS-7B-SFT del 18.1% al 32.8%. El marco LearnAct y el benchmark LearnGUI establecen el aprendizaje basado en demostraciones como una dirección prometedora para agentes de GUI móviles más adaptables, personalizados y desplegables.

English

Mobile GUI agents show promise in automating tasks but face generalization challenges in diverse real-world scenarios. Traditional approaches using pre-training or fine-tuning with massive datasets struggle with the diversity of mobile applications and user-specific tasks. We propose enhancing mobile GUI agent capabilities through human demonstrations, focusing on improving performance in unseen scenarios rather than pursuing universal generalization through larger datasets. To realize this paradigm, we introduce LearnGUI, the first comprehensive dataset specifically designed for studying demonstration-based learning in mobile GUI agents, comprising 2,252 offline tasks and 101 online tasks with high-quality human demonstrations. We further develop LearnAct, a sophisticated multi-agent framework that automatically extracts knowledge from demonstrations to enhance task completion. This framework integrates three specialized agents: DemoParser for knowledge extraction, KnowSeeker for relevant knowledge retrieval, and ActExecutor for demonstration-enhanced task execution. Our experimental results show significant performance gains in both offline and online evaluations. In offline assessments, a single demonstration improves model performance, increasing Gemini-1.5-Pro's accuracy from 19.3% to 51.7%. In online evaluations, our framework enhances UI-TARS-7B-SFT's task success rate from 18.1% to 32.8%. LearnAct framework and LearnGUI benchmark establish demonstration-based learning as a promising direction for more adaptable, personalized, and deployable mobile GUI agents.