Informe Técnico de Xiaomi-GUI-0

Resumen

Los agentes de interfaz gráfica de usuario (GUI) se basan en modelos de visión y lenguaje para completar tareas de usuario de extremo a extremo en aplicaciones reales mediante acciones de interfaz como tocar, deslizar, ingresar texto y navegar. Sin embargo, los agentes GUI existentes se entrenan y evalúan principalmente en trayectorias fuera de línea, entornos simulados y puntos de referencia estandarizados. Estos difieren sustancialmente de las aplicaciones reales en cuanto al diseño de la interfaz, la lógica de interacción y la distribución de estados anormales, y no pueden caracterizar fielmente la estabilidad de ejecución en el uso real, donde los estados de cuenta, los diálogos de permisos, la autenticación de pagos y el control de riesgos remodelan continuamente la distribución de estados y generan una brecha persistente entre las puntuaciones de referencia y la usabilidad real. Para cerrar esta brecha, proponemos Xiaomi-GUI-0, un agente GUI multimodal nativo para entornos móviles reales, entrenado y evaluado dentro de un bucle cerrado con dispositivos reales. Su núcleo es una infraestructura híbrida dominada por dispositivos reales, donde los dispositivos físicos son el entorno de ejecución principal y los entornos aislados brindan soporte auxiliar, de modo que la recopilación de datos, el entrenamiento, la implementación y la evaluación compartan una distribución de ejecución cercana al despliegue real. Construimos datos de entrenamiento de múltiples fuentes que abarcan tareas principales de alta frecuencia, datos de alta generalización para intenciones de cola larga y datos de mejora de capacidades para reflexión y memoria, e introducimos un volante de datos impulsado por errores que convierte las trayectorias fallidas en acciones corregidas, explicaciones reflexivas y demostraciones de recuperación. El modelo se entrena mediante un pipeline progresivo de tres etapas que incluye ajuste fino supervisado, aprendizaje por refuerzo a nivel de paso y aprendizaje por refuerzo agéntico. Evaluado en puntos de referencia públicos y en nuestro RealMobile interno, Xiaomi-GUI-0 alcanza un 72,0% de éxito en RealMobile y un 78,9% en AndroidWorld, mejorando sustancialmente la estabilidad de ejecución y el reconocimiento de estados anormales en tareas del mundo real.

English

Graphical user interface (GUI) agents build on vision-language models to complete user tasks end-to-end in real applications through interface actions such as tapping, swiping, text entry, and navigation. However, existing GUI agents are trained and evaluated largely on offline trajectories, simulated environments, and standardized benchmarks. These differ substantially from real applications in interface layout, interaction logic, and abnormal-state distribution, and cannot faithfully characterize execution stability in real-world use, where account states, permission dialogs, payment authentication, and risk control continually reshape the state distribution and open a persistent gap between benchmark scores and real usability. To close this gap, we propose Xiaomi-GUI-0, a native multimodal GUI agent for real mobile environments, trained and evaluated within a real-device closed loop. At its core is a real-device-dominant hybrid infrastructure, where physical devices are the primary execution environment and sandboxes provide auxiliary support, so that data collection, training, rollout, and evaluation share an execution distribution close to real deployment. We construct multi-source training data spanning high-frequency head tasks, high-generalization data for long-tail intents, and capability-enhancement data for reflection and memory, and introduce an error-driven data flywheel that turns failure trajectories into corrected actions, reflective explanations, and recovery demonstrations. The model is trained through a progressive three-stage pipeline of supervised fine-tuning, step-level reinforcement learning, and agentic reinforcement learning. Evaluated on public benchmarks and our in-house RealMobile, Xiaomi-GUI-0 achieves 72.0% success on RealMobile and 78.9% on AndroidWorld, while substantially improving execution stability and abnormal-state recognition in real-world tasks.