GUI-Reflection: Stärkung multimodaler GUI-Modelle durch Selbstreflexionsverhalten

GUI-Reflection: Empowering Multimodal GUI Models with Self-Reflection Behavior

June 9, 2025

Autoren: Penghao Wu, Shengnan Ma, Bo Wang, Jiaheng Yu, Lewei Lu, Ziwei Liu

cs.AI

Zusammenfassung

Multimodale Large Language Models (MLLMs) haben großes Potenzial gezeigt, die Automatisierung von Grafischen Benutzeroberflächen (GUIs) zu revolutionieren. Bisherige GUI-Modelle stützen sich jedoch hauptsächlich auf das Lernen aus nahezu fehlerfreien Offline-Trajektorien und verfügen daher über keine Reflexions- und Fehlerbehebungsfähigkeiten. Um diese Lücke zu schließen, schlagen wir GUI-Reflection vor, ein neuartiges Framework, das Selbstreflexion und Fehlerkorrektur explizit in end-to-end multimodale GUI-Modelle integriert, und zwar über dedizierte Trainingsphasen: GUI-spezifisches Pre-Training, Offline Supervised Fine-Tuning (SFT) und Online Reflection Tuning. GUI-Reflection ermöglicht die Entstehung von Selbstreflexionsverhalten durch vollautomatisierte Datengenerierung und Lernprozesse, ohne dass menschliche Annotationen erforderlich sind. Konkret: 1) Wir schlagen skalierbare Datenpipelines vor, um automatisch Reflexions- und Fehlerkorrekturdaten aus bestehenden erfolgreichen Trajektorien zu konstruieren. Während sich bestehende GUI-Modelle hauptsächlich auf Grounding- und UI-Verständnisfähigkeiten konzentrieren, führen wir die GUI-Reflection Task Suite ein, um explizit reflexionsorientierte Fähigkeiten zu erlernen und zu bewerten. 2) Darüber hinaus haben wir eine vielfältige und effiziente Umgebung für das Online-Training und die Datensammlung von GUI-Modellen auf Mobilgeräten entwickelt. 3) Wir stellen auch einen iterativen Online Reflection Tuning-Algorithmus vor, der die vorgeschlagene Umgebung nutzt, um dem Modell zu ermöglichen, seine Reflexions- und Fehlerkorrekturfähigkeiten kontinuierlich zu verbessern. Unser Framework stattet GUI-Agenten mit Selbstreflexions- und Korrekturfähigkeiten aus und ebnet den Weg für robustere, anpassungsfähigere und intelligentere GUI-Automatisierung, wobei alle Daten, Modelle, Umgebungen und Tools öffentlich zugänglich gemacht werden.

English

Multimodal Large Language Models (MLLMs) have shown great potential in revolutionizing Graphical User Interface (GUI) automation. However, existing GUI models mostly rely on learning from nearly error-free offline trajectories, thus lacking reflection and error recovery capabilities. To bridge this gap, we propose GUI-Reflection, a novel framework that explicitly integrates self-reflection and error correction capabilities into end-to-end multimodal GUI models throughout dedicated training stages: GUI-specific pre-training, offline supervised fine-tuning (SFT), and online reflection tuning. GUI-reflection enables self-reflection behavior emergence with fully automated data generation and learning processes without requiring any human annotation. Specifically, 1) we first propose scalable data pipelines to automatically construct reflection and error correction data from existing successful trajectories. While existing GUI models mainly focus on grounding and UI understanding ability, we propose the GUI-Reflection Task Suite to learn and evaluate reflection-oriented abilities explicitly. 2) Furthermore, we built a diverse and efficient environment for online training and data collection of GUI models on mobile devices. 3) We also present an iterative online reflection tuning algorithm leveraging the proposed environment, enabling the model to continuously enhance its reflection and error correction abilities. Our framework equips GUI agents with self-reflection and correction capabilities, paving the way for more robust, adaptable, and intelligent GUI automation, with all data, models, environments, and tools to be released publicly.