LearnAct: Мобильный агент для графического интерфейса с обучением на нескольких примерах и унифицированным бенчмарком демонстраций

LearnAct: Few-Shot Mobile GUI Agent with a Unified Demonstration Benchmark

April 18, 2025

Авторы: Guangyi Liu, Pengxiang Zhao, Liang Liu, Zhiming Chen, Yuxiang Chai, Shuai Ren, Hao Wang, Shibo He, Wenchao Meng

cs.AI

Аннотация

Мобильные агенты графического интерфейса демонстрируют потенциал в автоматизации задач, но сталкиваются с проблемами обобщения в разнообразных реальных сценариях. Традиционные подходы, использующие предварительное обучение или тонкую настройку на больших наборах данных, не справляются с разнообразием мобильных приложений и задач, специфичных для пользователей. Мы предлагаем улучшить возможности мобильных агентов графического интерфейса через демонстрации человека, сосредоточившись на повышении производительности в новых сценариях, а не на достижении универсального обобщения через увеличение объемов данных. Для реализации этой парадигмы мы представляем LearnGUI — первый комплексный набор данных, специально разработанный для изучения обучения на основе демонстраций в мобильных агентах графического интерфейса, включающий 2 252 офлайн-задачи и 101 онлайн-задачу с высококачественными демонстрациями человека. Мы также разработали LearnAct, сложную мультиагентную систему, которая автоматически извлекает знания из демонстраций для улучшения выполнения задач. Эта система объединяет три специализированных агента: DemoParser для извлечения знаний, KnowSeeker для поиска релевантных знаний и ActExecutor для выполнения задач с использованием демонстраций. Наши экспериментальные результаты показывают значительное улучшение производительности как в офлайн-, так и в онлайн-оценках. В офлайн-тестах одна демонстрация повышает точность модели, увеличивая точность Gemini-1.5-Pro с 19,3% до 51,7%. В онлайн-оценках наша система повышает успешность выполнения задач UI-TARS-7B-SFT с 18,1% до 32,8%. Фреймворк LearnAct и бенчмарк LearnGUI устанавливают обучение на основе демонстраций как перспективное направление для создания более адаптируемых, персонализированных и готовых к развертыванию мобильных агентов графического интерфейса.

English

Mobile GUI agents show promise in automating tasks but face generalization challenges in diverse real-world scenarios. Traditional approaches using pre-training or fine-tuning with massive datasets struggle with the diversity of mobile applications and user-specific tasks. We propose enhancing mobile GUI agent capabilities through human demonstrations, focusing on improving performance in unseen scenarios rather than pursuing universal generalization through larger datasets. To realize this paradigm, we introduce LearnGUI, the first comprehensive dataset specifically designed for studying demonstration-based learning in mobile GUI agents, comprising 2,252 offline tasks and 101 online tasks with high-quality human demonstrations. We further develop LearnAct, a sophisticated multi-agent framework that automatically extracts knowledge from demonstrations to enhance task completion. This framework integrates three specialized agents: DemoParser for knowledge extraction, KnowSeeker for relevant knowledge retrieval, and ActExecutor for demonstration-enhanced task execution. Our experimental results show significant performance gains in both offline and online evaluations. In offline assessments, a single demonstration improves model performance, increasing Gemini-1.5-Pro's accuracy from 19.3% to 51.7%. In online evaluations, our framework enhances UI-TARS-7B-SFT's task success rate from 18.1% to 32.8%. LearnAct framework and LearnGUI benchmark establish demonstration-based learning as a promising direction for more adaptable, personalized, and deployable mobile GUI agents.