GUI-Reflection: Multimodale GUI-modellen versterken met zelfreflectiegedrag

GUI-Reflection: Empowering Multimodal GUI Models with Self-Reflection Behavior

June 9, 2025

Auteurs: Penghao Wu, Shengnan Ma, Bo Wang, Jiaheng Yu, Lewei Lu, Ziwei Liu

cs.AI

Samenvatting

Multimodale Large Language Models (MLLMs) hebben groot potentieel getoond in het revolutioneren van Graphical User Interface (GUI)-automatisering. Bestaande GUI-modellen zijn echter voornamelijk afhankelijk van het leren van bijna foutloze offline trajecten, waardoor ze reflectie- en foutherstelcapaciteiten missen. Om deze kloof te overbruggen, stellen we GUI-Reflection voor, een nieuw framework dat zelfreflectie en foutcorrectie expliciet integreert in end-to-end multimodale GUI-modellen via specifieke trainingsfasen: GUI-specifieke pre-training, offline supervised fine-tuning (SFT) en online reflectie-tuning. GUI-Reflection maakt het mogelijk om zelfreflectiegedrag te laten ontstaan met volledig geautomatiseerde datageneratie en leerprocessen, zonder menselijke annotatie. Specifiek: 1) We stellen eerst schaalbare datapijplijnen voor om automatisch reflectie- en foutcorrectiedata te construeren uit bestaande succesvolle trajecten. Terwijl bestaande GUI-modellen zich vooral richten op gronding en UI-begrip, introduceren we de GUI-Reflection Task Suite om reflectiegerichte vaardigheden expliciet te leren en te evalueren. 2) Daarnaast hebben we een diverse en efficiënte omgeving gebouwd voor online training en datacollectie van GUI-modellen op mobiele apparaten. 3) We presenteren ook een iteratief online reflectie-tuning algoritme dat gebruikmaakt van de voorgestelde omgeving, waardoor het model zijn reflectie- en foutcorrectiecapaciteiten continu kan verbeteren. Ons framework voorziet GUI-agents van zelfreflectie- en correctiecapaciteiten, wat de weg vrijmaakt voor robuustere, aanpasbaardere en intelligentere GUI-automatisering, waarbij alle data, modellen, omgevingen en tools openbaar worden vrijgegeven.

English

Multimodal Large Language Models (MLLMs) have shown great potential in revolutionizing Graphical User Interface (GUI) automation. However, existing GUI models mostly rely on learning from nearly error-free offline trajectories, thus lacking reflection and error recovery capabilities. To bridge this gap, we propose GUI-Reflection, a novel framework that explicitly integrates self-reflection and error correction capabilities into end-to-end multimodal GUI models throughout dedicated training stages: GUI-specific pre-training, offline supervised fine-tuning (SFT), and online reflection tuning. GUI-reflection enables self-reflection behavior emergence with fully automated data generation and learning processes without requiring any human annotation. Specifically, 1) we first propose scalable data pipelines to automatically construct reflection and error correction data from existing successful trajectories. While existing GUI models mainly focus on grounding and UI understanding ability, we propose the GUI-Reflection Task Suite to learn and evaluate reflection-oriented abilities explicitly. 2) Furthermore, we built a diverse and efficient environment for online training and data collection of GUI models on mobile devices. 3) We also present an iterative online reflection tuning algorithm leveraging the proposed environment, enabling the model to continuously enhance its reflection and error correction abilities. Our framework equips GUI agents with self-reflection and correction capabilities, paving the way for more robust, adaptable, and intelligent GUI automation, with all data, models, environments, and tools to be released publicly.