LearnAct: Wenig-Beispiel-Mobil-GUI-Agent mit einem einheitlichen Demonstrations-Benchmark

LearnAct: Few-Shot Mobile GUI Agent with a Unified Demonstration Benchmark

April 18, 2025

Autoren: Guangyi Liu, Pengxiang Zhao, Liang Liu, Zhiming Chen, Yuxiang Chai, Shuai Ren, Hao Wang, Shibo He, Wenchao Meng

cs.AI

Zusammenfassung

Mobile-GUI-Agenten zeigen vielversprechende Ansätze zur Automatisierung von Aufgaben, stehen jedoch vor Herausforderungen bei der Generalisierung in diversen realen Szenarien. Traditionelle Ansätze, die auf Vorabtraining oder Feinabstimmung mit umfangreichen Datensätzen basieren, kämpfen mit der Vielfalt mobiler Anwendungen und benutzerspezifischer Aufgaben. Wir schlagen vor, die Fähigkeiten von Mobile-GUI-Agenten durch menschliche Demonstrationen zu verbessern, wobei der Fokus auf der Leistungssteigerung in unbekannten Szenarien liegt, anstatt eine universelle Generalisierung durch größere Datensätze anzustreben. Um dieses Paradigma zu realisieren, führen wir LearnGUI ein, den ersten umfassenden Datensatz, der speziell für das Studium des demonstrationsbasierten Lernens in Mobile-GUI-Agenten entwickelt wurde. Dieser umfasst 2.252 Offline-Aufgaben und 101 Online-Aufgaben mit hochwertigen menschlichen Demonstrationen. Weiterhin entwickeln wir LearnAct, ein ausgeklügeltes Multi-Agenten-Framework, das automatisch Wissen aus Demonstrationen extrahiert, um die Aufgabenbewältigung zu verbessern. Dieses Framework integriert drei spezialisierte Agenten: DemoParser zur Wissensextraktion, KnowSeeker zur relevanten Wissensabfrage und ActExecutor zur demonstrationsgestützten Aufgabenausführung. Unsere experimentellen Ergebnisse zeigen signifikante Leistungssteigerungen sowohl in Offline- als auch in Online-Bewertungen. In Offline-Bewertungen verbessert eine einzige Demonstration die Modellleistung und erhöht die Genauigkeit von Gemini-1.5-Pro von 19,3 % auf 51,7 %. In Online-Bewertungen steigert unser Framework die Aufgaben-Erfolgsrate von UI-TARS-7B-SFT von 18,1 % auf 32,8 %. Das LearnAct-Framework und der LearnGUI-Benchmark etablieren demonstrationsbasiertes Lernen als vielversprechende Richtung für anpassungsfähigere, personalisiertere und einsatzbereite Mobile-GUI-Agenten.

English

Mobile GUI agents show promise in automating tasks but face generalization challenges in diverse real-world scenarios. Traditional approaches using pre-training or fine-tuning with massive datasets struggle with the diversity of mobile applications and user-specific tasks. We propose enhancing mobile GUI agent capabilities through human demonstrations, focusing on improving performance in unseen scenarios rather than pursuing universal generalization through larger datasets. To realize this paradigm, we introduce LearnGUI, the first comprehensive dataset specifically designed for studying demonstration-based learning in mobile GUI agents, comprising 2,252 offline tasks and 101 online tasks with high-quality human demonstrations. We further develop LearnAct, a sophisticated multi-agent framework that automatically extracts knowledge from demonstrations to enhance task completion. This framework integrates three specialized agents: DemoParser for knowledge extraction, KnowSeeker for relevant knowledge retrieval, and ActExecutor for demonstration-enhanced task execution. Our experimental results show significant performance gains in both offline and online evaluations. In offline assessments, a single demonstration improves model performance, increasing Gemini-1.5-Pro's accuracy from 19.3% to 51.7%. In online evaluations, our framework enhances UI-TARS-7B-SFT's task success rate from 18.1% to 32.8%. LearnAct framework and LearnGUI benchmark establish demonstration-based learning as a promising direction for more adaptable, personalized, and deployable mobile GUI agents.