Xiaomi-GUI-0 Technischer Bericht

Zusammenfassung

Grafische Benutzeroberflächen (GUI)-Agenten nutzen Vision-Language-Modelle, um Benutzeraufgaben in realen Anwendungen End-to-End durch Oberflächenaktionen wie Tippen, Wischen, Texteingabe und Navigation abzuschließen. Bestehende GUI-Agenten werden jedoch weitgehend auf Offline-Trajektorien, simulierten Umgebungen und standardisierten Benchmarks trainiert und evaluiert. Diese unterscheiden sich erheblich von realen Anwendungen hinsichtlich Layout der Benutzeroberfläche, Interaktionslogik und Verteilung von Anomaliezuständen und können die Ausführungsstabilität im realen Einsatz nicht getreu abbilden. In realen Umgebungen verändern Kontozustände, Berechtigungsdialoge, Zahlungsauthentifizierung und Risikokontrolle kontinuierlich die Zustandsverteilung und erzeugen eine anhaltende Lücke zwischen Benchmark-Ergebnissen und tatsächlicher Benutzbarkeit. Um diese Lücke zu schließen, schlagen wir Xiaomi-GUI-0 vor, einen nativen multimodalen GUI-Agenten für reale mobile Umgebungen, der innerhalb eines geschlossenen Kreislaufs mit echten Geräten trainiert und evaluiert wird. Kernstück ist eine hybride Infrastruktur mit Dominanz echter Geräte, bei der physische Geräte die primäre Ausführungsumgebung darstellen und Sandboxen unterstützende Hilfe bieten, sodass Datensammlung, Training, Rollout und Evaluierung eine Ausführungsverteilung aufweisen, die der realen Bereitstellung nahekommt. Wir konstruieren mehrquellige Trainingsdaten, die hochfrequente Hauptaufgaben, hochgeneralisierbare Daten für Long-Tail-Intents sowie Fähigkeitserweiterungsdaten für Reflexion und Gedächtnis umfassen, und führen ein fehlergesteuertes Daten-Schwungrad ein, das fehlgeschlagene Trajektorien in korrigierte Aktionen, reflexive Erklärungen und Wiederherstellungsdemonstrationen umwandelt. Das Modell wird durch eine progressive dreistufige Pipeline aus überwachtem Feintuning, schrittweisem Reinforcement Learning und agentischem Reinforcement Learning trainiert. Evaluiert auf öffentlichen Benchmarks und unserem internen RealMobile erreicht Xiaomi-GUI-0 72,0 % Erfolg auf RealMobile und 78,9 % auf AndroidWorld, bei gleichzeitiger deutlicher Verbesserung der Ausführungsstabilität und Erkennung von Anomaliezuständen in realen Aufgaben.

English

Graphical user interface (GUI) agents build on vision-language models to complete user tasks end-to-end in real applications through interface actions such as tapping, swiping, text entry, and navigation. However, existing GUI agents are trained and evaluated largely on offline trajectories, simulated environments, and standardized benchmarks. These differ substantially from real applications in interface layout, interaction logic, and abnormal-state distribution, and cannot faithfully characterize execution stability in real-world use, where account states, permission dialogs, payment authentication, and risk control continually reshape the state distribution and open a persistent gap between benchmark scores and real usability. To close this gap, we propose Xiaomi-GUI-0, a native multimodal GUI agent for real mobile environments, trained and evaluated within a real-device closed loop. At its core is a real-device-dominant hybrid infrastructure, where physical devices are the primary execution environment and sandboxes provide auxiliary support, so that data collection, training, rollout, and evaluation share an execution distribution close to real deployment. We construct multi-source training data spanning high-frequency head tasks, high-generalization data for long-tail intents, and capability-enhancement data for reflection and memory, and introduce an error-driven data flywheel that turns failure trajectories into corrected actions, reflective explanations, and recovery demonstrations. The model is trained through a progressive three-stage pipeline of supervised fine-tuning, step-level reinforcement learning, and agentic reinforcement learning. Evaluated on public benchmarks and our in-house RealMobile, Xiaomi-GUI-0 achieves 72.0% success on RealMobile and 78.9% on AndroidWorld, while substantially improving execution stability and abnormal-state recognition in real-world tasks.