Технический отчет Xiaomi-GUI-0

Аннотация

Графические пользовательские интерфейсы (GUI-агенты) строятся на основе моделей "зрение-язык" для сквозного выполнения пользовательских задач в реальных приложениях с помощью таких интерфейсных действий, как нажатие, смахивание, ввод текста и навигация. Однако существующие GUI-агенты в основном обучаются и оцениваются на офлайн-траекториях, симулированных средах и стандартизированных бенчмарках. Они существенно отличаются от реальных приложений по структуре интерфейса, логике взаимодействия и распределению аномальных состояний, а также не могут достоверно характеризовать стабильность выполнения в реальном использовании, где состояния аккаунтов, диалоговые окна разрешений, платежная аутентификация и контроль рисков непрерывно изменяют распределение состояний и создают постоянный разрыв между показателями бенчмарков и реальной пригодностью. Чтобы устранить этот разрыв, мы предлагаем Xiaomi-GUI-0 — нативный мультимодальный GUI-агент для реальных мобильных сред, обученный и оцененный в замкнутом цикле на реальных устройствах. Его основой является гибридная инфраструктура с доминированием реальных устройств, где физические устройства выступают в качестве основной среды выполнения, а песочницы оказывают вспомогательную поддержку, так что сбор данных, обучение, развёртывание и оценка разделяют распределение выполнения, близкое к реальному развёртыванию. Мы конструируем многоисточниковые обучающие данные, охватывающие высокочастотные головные задачи, данные высокой обобщаемости для длиннохвостых интентов и данные для улучшения способностей к рефлексии и памяти, а также внедряем управляемый ошибками цикл данных, превращающий траектории неудач в исправленные действия, объяснения с рефлексией и демонстрации восстановления. Модель обучается с помощью прогрессивного трехэтапного конвейера: обучение с учителем, пошаговое обучение с подкреплением и агентное обучение с подкреплением. Оцененная на публичных бенчмарках и нашем внутреннем RealMobile, Xiaomi-GUI-0 достигает 72,0% успеха на RealMobile и 78,9% на AndroidWorld, при этом значительно улучшая стабильность выполнения и распознавание аномальных состояний в реальных задачах.

English

Graphical user interface (GUI) agents build on vision-language models to complete user tasks end-to-end in real applications through interface actions such as tapping, swiping, text entry, and navigation. However, existing GUI agents are trained and evaluated largely on offline trajectories, simulated environments, and standardized benchmarks. These differ substantially from real applications in interface layout, interaction logic, and abnormal-state distribution, and cannot faithfully characterize execution stability in real-world use, where account states, permission dialogs, payment authentication, and risk control continually reshape the state distribution and open a persistent gap between benchmark scores and real usability. To close this gap, we propose Xiaomi-GUI-0, a native multimodal GUI agent for real mobile environments, trained and evaluated within a real-device closed loop. At its core is a real-device-dominant hybrid infrastructure, where physical devices are the primary execution environment and sandboxes provide auxiliary support, so that data collection, training, rollout, and evaluation share an execution distribution close to real deployment. We construct multi-source training data spanning high-frequency head tasks, high-generalization data for long-tail intents, and capability-enhancement data for reflection and memory, and introduce an error-driven data flywheel that turns failure trajectories into corrected actions, reflective explanations, and recovery demonstrations. The model is trained through a progressive three-stage pipeline of supervised fine-tuning, step-level reinforcement learning, and agentic reinforcement learning. Evaluated on public benchmarks and our in-house RealMobile, Xiaomi-GUI-0 achieves 72.0% success on RealMobile and 78.9% on AndroidWorld, while substantially improving execution stability and abnormal-state recognition in real-world tasks.