Rapport technique Xiaomi-GUI-0

Résumé

Les agents d'interface utilisateur graphique (GUI) s'appuient sur des modèles vision-langage pour accomplir des tâches utilisateur de bout en bout dans des applications réelles, via des actions d'interface telles que le tapotement, le balayage, la saisie de texte et la navigation. Cependant, les agents GUI existants sont principalement entraînés et évalués sur des trajectoires hors ligne, des environnements simulés et des benchmarks standardisés. Ceux-ci diffèrent sensiblement des applications réelles en termes de disposition d'interface, de logique d'interaction et de distribution des états anormaux, et ne peuvent pas caractériser fidèlement la stabilité d'exécution dans un usage réel, où les états de compte, les dialogues d'autorisation, l'authentification de paiement et le contrôle des risques modifient continuellement la distribution des états, creusant un écart persistant entre les scores de benchmark et l'utilisabilité réelle. Pour combler cet écart, nous proposons Xiaomi-GUI-0, un agent GUI multimodale natif pour environnements mobiles réels, entraîné et évalué au sein d'une boucle fermée sur dispositif réel. Son cœur repose sur une infrastructure hybride dominée par le dispositif réel, où les appareils physiques constituent l'environnement d'exécution principal et les bacs à sable fournissent un support auxiliaire, de sorte que la collecte de données, l'entraînement, le déploiement et l'évaluation partagent une distribution d'exécution proche du déploiement réel. Nous construisons des données d'entraînement multi-sources couvrant les tâches tête à haute fréquence, les données de haute généralisation pour les intentions longue traîne, et les données d'amélioration des capacités pour la réflexion et la mémoire, et introduisons un cycle vertueux de données piloté par les erreurs, qui transforme les trajectoires d'échec en actions corrigées, explications réflexives et démonstrations de récupération. Le modèle est entraîné via un pipeline progressif en trois étapes : fine-tuning supervisé, apprentissage par renforcement au niveau des étapes, et apprentissage par renforcement agentique. Évalué sur des benchmarks publics et notre RealMobile interne, Xiaomi-GUI-0 atteint 72,0 % de succès sur RealMobile et 78,9 % sur AndroidWorld, tout en améliorant considérablement la stabilité d'exécution et la reconnaissance des états anormaux dans des tâches réelles.

English

Graphical user interface (GUI) agents build on vision-language models to complete user tasks end-to-end in real applications through interface actions such as tapping, swiping, text entry, and navigation. However, existing GUI agents are trained and evaluated largely on offline trajectories, simulated environments, and standardized benchmarks. These differ substantially from real applications in interface layout, interaction logic, and abnormal-state distribution, and cannot faithfully characterize execution stability in real-world use, where account states, permission dialogs, payment authentication, and risk control continually reshape the state distribution and open a persistent gap between benchmark scores and real usability. To close this gap, we propose Xiaomi-GUI-0, a native multimodal GUI agent for real mobile environments, trained and evaluated within a real-device closed loop. At its core is a real-device-dominant hybrid infrastructure, where physical devices are the primary execution environment and sandboxes provide auxiliary support, so that data collection, training, rollout, and evaluation share an execution distribution close to real deployment. We construct multi-source training data spanning high-frequency head tasks, high-generalization data for long-tail intents, and capability-enhancement data for reflection and memory, and introduce an error-driven data flywheel that turns failure trajectories into corrected actions, reflective explanations, and recovery demonstrations. The model is trained through a progressive three-stage pipeline of supervised fine-tuning, step-level reinforcement learning, and agentic reinforcement learning. Evaluated on public benchmarks and our in-house RealMobile, Xiaomi-GUI-0 achieves 72.0% success on RealMobile and 78.9% on AndroidWorld, while substantially improving execution stability and abnormal-state recognition in real-world tasks.