UI-Voyager: Un agente de interfaz gráfica de usuario que evoluciona automáticamente mediante el aprendizaje de experiencias fallidas

UI-Voyager: A Self-Evolving GUI Agent Learning via Failed Experience

March 25, 2026

Autores: Zichuan Lin, Feiyu Liu, Yijun Yang, Jiafei Lyu, Yiming Gao, Yicheng Liu, Zhicong Lu, Yangbin Yu, Mingyu Yang, Junyou Li, Deheng Ye, Jie Jiang

cs.AI

Resumen

Los agentes autónomos móviles de interfaz gráfica de usuario (GUI) han atraído una atención creciente junto con el avance de los Modelos de Lenguaje Grandes Multimodales (MLLM). Sin embargo, los métodos existentes aún adolecen de un aprendizaje ineficiente a partir de trayectorias fallidas y de una asignación de crédito ambigua bajo recompensas dispersas para tareas GUI de largo horizonte. Con este fin, proponemos UI-Voyager, un novedoso agente móvil de GUI auto-evolutivo de dos etapas. En la primera etapa, empleamos el Ajuste Fino por Rechazo (RFT), que permite la co-evolución continua de datos y modelos en un bucle completamente autónomo. La segunda etapa introduce la Auto-Destilación Relativa Grupal (GRSD), que identifica puntos críticos de bifurcación en las ejecuciones grupales y construye una supervisión densa a nivel de paso a partir de trayectorias exitosas para corregir las fallidas. Experimentos exhaustivos en AndroidWorld muestran que nuestro modelo de 4B logra una tasa de éxito Pass@1 del 81.0%, superando a numerosas líneas base recientes y excediendo el rendimiento a nivel humano. Estudios de ablación y casos de estudio verifican además la efectividad de GRSD. Nuestro método representa un avance significativo hacia la automatización de GUI móviles eficiente, auto-evolutiva y de alto rendimiento, sin necesidad de costosas anotaciones manuales de datos.

English

Autonomous mobile GUI agents have attracted increasing attention along with the advancement of Multimodal Large Language Models (MLLMs). However, existing methods still suffer from inefficient learning from failed trajectories and ambiguous credit assignment under sparse rewards for long-horizon GUI tasks. To that end, we propose UI-Voyager, a novel two-stage self-evolving mobile GUI agent. In the first stage, we employ Rejection Fine-Tuning (RFT), which enables the continuous co-evolution of data and models in a fully autonomous loop. The second stage introduces Group Relative Self-Distillation (GRSD), which identifies critical fork points in group rollouts and constructs dense step-level supervision from successful trajectories to correct failed ones. Extensive experiments on AndroidWorld show that our 4B model achieves an 81.0% Pass@1 success rate, outperforming numerous recent baselines and exceeding human-level performance. Ablation and case studies further verify the effectiveness of GRSD. Our method represents a significant leap toward efficient, self-evolving, and high-performance mobile GUI automation without expensive manual data annotation.