GUI-Reflection: Potenciando Modelos Multimodales de GUI con Autoreflexión Conductual

GUI-Reflection: Empowering Multimodal GUI Models with Self-Reflection Behavior

June 9, 2025

Autores: Penghao Wu, Shengnan Ma, Bo Wang, Jiaheng Yu, Lewei Lu, Ziwei Liu

cs.AI

Resumen

Los Modelos de Lenguaje Multimodales (MLLMs, por sus siglas en inglés) han demostrado un gran potencial para revolucionar la automatización de Interfaces Gráficas de Usuario (GUI). Sin embargo, los modelos de GUI existentes se basan principalmente en el aprendizaje a partir de trayectorias offline casi libres de errores, careciendo así de capacidades de reflexión y recuperación ante errores. Para cerrar esta brecha, proponemos GUI-Reflection, un marco novedoso que integra explícitamente capacidades de autorreflexión y corrección de errores en modelos multimodales de GUI de extremo a extremo a lo largo de etapas de entrenamiento dedicadas: preentrenamiento específico para GUI, ajuste supervisado offline (SFT) y ajuste de reflexión online. GUI-Reflection permite la emergencia de comportamientos de autorreflexión con procesos de generación de datos y aprendizaje completamente automatizados, sin requerir anotaciones humanas. Específicamente, 1) primero proponemos pipelines de datos escalables para construir automáticamente datos de reflexión y corrección de errores a partir de trayectorias exitosas existentes. Mientras que los modelos de GUI existentes se centran principalmente en la capacidad de fundamentación y comprensión de la interfaz de usuario, proponemos el Conjunto de Tareas de GUI-Reflection para aprender y evaluar explícitamente habilidades orientadas a la reflexión. 2) Además, construimos un entorno diverso y eficiente para el entrenamiento online y la recopilación de datos de modelos de GUI en dispositivos móviles. 3) También presentamos un algoritmo iterativo de ajuste de reflexión online que aprovecha el entorno propuesto, permitiendo que el modelo mejore continuamente sus capacidades de reflexión y corrección de errores. Nuestro marco equipa a los agentes de GUI con capacidades de autorreflexión y corrección, allanando el camino para una automatización de GUI más robusta, adaptable e inteligente, con todos los datos, modelos, entornos y herramientas que se liberarán públicamente.

English

Multimodal Large Language Models (MLLMs) have shown great potential in revolutionizing Graphical User Interface (GUI) automation. However, existing GUI models mostly rely on learning from nearly error-free offline trajectories, thus lacking reflection and error recovery capabilities. To bridge this gap, we propose GUI-Reflection, a novel framework that explicitly integrates self-reflection and error correction capabilities into end-to-end multimodal GUI models throughout dedicated training stages: GUI-specific pre-training, offline supervised fine-tuning (SFT), and online reflection tuning. GUI-reflection enables self-reflection behavior emergence with fully automated data generation and learning processes without requiring any human annotation. Specifically, 1) we first propose scalable data pipelines to automatically construct reflection and error correction data from existing successful trajectories. While existing GUI models mainly focus on grounding and UI understanding ability, we propose the GUI-Reflection Task Suite to learn and evaluate reflection-oriented abilities explicitly. 2) Furthermore, we built a diverse and efficient environment for online training and data collection of GUI models on mobile devices. 3) We also present an iterative online reflection tuning algorithm leveraging the proposed environment, enabling the model to continuously enhance its reflection and error correction abilities. Our framework equips GUI agents with self-reflection and correction capabilities, paving the way for more robust, adaptable, and intelligent GUI automation, with all data, models, environments, and tools to be released publicly.