UI-Voyager : Un agent d'interface graphique auto-évolutif apprenant par l'échec
UI-Voyager: A Self-Evolving GUI Agent Learning via Failed Experience
March 25, 2026
Auteurs: Zichuan Lin, Feiyu Liu, Yijun Yang, Jiafei Lyu, Yiming Gao, Yicheng Liu, Zhicong Lu, Yangbin Yu, Mingyu Yang, Junyou Li, Deheng Ye, Jie Jiang
cs.AI
Résumé
Les agents autonomes mobiles d'interface graphique (GUI) suscitent une attention croissante avec les progrès des modèles de langage multimodaux (MLLM). Cependant, les méthodes existantes souffrent encore d'un apprentissage inefficace à partir des trajectoires d'échec et d'un assignation de crédit ambiguë sous des récompenses éparses pour les tâches GUI à long terme. Pour y remédier, nous proposons UI-Voyager, un nouvel agent GUI mobile à auto-évolution en deux étapes. Dans la première étape, nous utilisons le Rejet par Mise au Point (RFT), qui permet la co-évolution continue des données et des modèles dans une boucle entièrement autonome. La seconde étape introduit l'Auto-distillation Relative de Groupe (GRSD), qui identifie les points de bifurcation critiques dans les déploiements de groupe et construit une supervision dense au niveau de l'étape à partir des trajectoires de réussite pour corriger les échecs. Des expériences approfondies sur AndroidWorld montrent que notre modèle de 4B atteint un taux de réussite Pass@1 de 81,0%, surpassant de nombreuses bases de référence récentes et dépassant les performances humaines. Les études d'ablation et de cas vérifient en outre l'efficacité de GRSD. Notre méthode représente un bond significatif vers une automatisation mobile GUI efficace, auto-évolutive et performante sans annotation manuelle coûteuse des données.
English
Autonomous mobile GUI agents have attracted increasing attention along with the advancement of Multimodal Large Language Models (MLLMs). However, existing methods still suffer from inefficient learning from failed trajectories and ambiguous credit assignment under sparse rewards for long-horizon GUI tasks. To that end, we propose UI-Voyager, a novel two-stage self-evolving mobile GUI agent. In the first stage, we employ Rejection Fine-Tuning (RFT), which enables the continuous co-evolution of data and models in a fully autonomous loop. The second stage introduces Group Relative Self-Distillation (GRSD), which identifies critical fork points in group rollouts and constructs dense step-level supervision from successful trajectories to correct failed ones. Extensive experiments on AndroidWorld show that our 4B model achieves an 81.0% Pass@1 success rate, outperforming numerous recent baselines and exceeding human-level performance. Ablation and case studies further verify the effectiveness of GRSD. Our method represents a significant leap toward efficient, self-evolving, and high-performance mobile GUI automation without expensive manual data annotation.