GUI-Reflection: Наделение мультимодальных моделей графического интерфейса способностью к саморефлексии поведения

GUI-Reflection: Empowering Multimodal GUI Models with Self-Reflection Behavior

June 9, 2025

Авторы: Penghao Wu, Shengnan Ma, Bo Wang, Jiaheng Yu, Lewei Lu, Ziwei Liu

cs.AI

Аннотация

Мультимодальные крупные языковые модели (MLLMs) продемонстрировали значительный потенциал в революционизации автоматизации графических пользовательских интерфейсов (GUI). Однако существующие модели GUI в основном полагаются на обучение на основе почти безошибочных оффлайн-траекторий, что ограничивает их способность к рефлексии и восстановлению после ошибок. Чтобы устранить этот пробел, мы предлагаем GUI-Reflection — новую структуру, которая явно интегрирует способности к саморефлексии и исправлению ошибок в энд-ту-энд мультимодальные модели GUI через выделенные этапы обучения: предварительное обучение, специфичное для GUI, оффлайн-тонкая настройка с учителем (SFT) и онлайн-настройка на рефлексию. GUI-Reflection позволяет возникновению поведения саморефлексии с полностью автоматизированными процессами генерации данных и обучения, не требуя аннотаций от человека. В частности: 1) мы предлагаем масштабируемые конвейеры данных для автоматического создания данных для рефлексии и исправления ошибок на основе существующих успешных траекторий. В то время как существующие модели GUI в основном сосредоточены на способностях к заземлению и пониманию интерфейсов, мы предлагаем набор задач GUI-Reflection для явного обучения и оценки способностей, ориентированных на рефлексию. 2) Кроме того, мы создали разнообразную и эффективную среду для онлайн-обучения и сбора данных для моделей GUI на мобильных устройствах. 3) Мы также представляем итеративный алгоритм онлайн-настройки на рефлексию, использующий предложенную среду, что позволяет модели непрерывно улучшать свои способности к рефлексии и исправлению ошибок. Наша структура оснащает агентов GUI способностями к саморефлексии и исправлению, прокладывая путь к более устойчивой, адаптивной и интеллектуальной автоматизации GUI, при этом все данные, модели, среды и инструменты будут опубликованы в открытом доступе.

English

Multimodal Large Language Models (MLLMs) have shown great potential in revolutionizing Graphical User Interface (GUI) automation. However, existing GUI models mostly rely on learning from nearly error-free offline trajectories, thus lacking reflection and error recovery capabilities. To bridge this gap, we propose GUI-Reflection, a novel framework that explicitly integrates self-reflection and error correction capabilities into end-to-end multimodal GUI models throughout dedicated training stages: GUI-specific pre-training, offline supervised fine-tuning (SFT), and online reflection tuning. GUI-reflection enables self-reflection behavior emergence with fully automated data generation and learning processes without requiring any human annotation. Specifically, 1) we first propose scalable data pipelines to automatically construct reflection and error correction data from existing successful trajectories. While existing GUI models mainly focus on grounding and UI understanding ability, we propose the GUI-Reflection Task Suite to learn and evaluate reflection-oriented abilities explicitly. 2) Furthermore, we built a diverse and efficient environment for online training and data collection of GUI models on mobile devices. 3) We also present an iterative online reflection tuning algorithm leveraging the proposed environment, enabling the model to continuously enhance its reflection and error correction abilities. Our framework equips GUI agents with self-reflection and correction capabilities, paving the way for more robust, adaptable, and intelligent GUI automation, with all data, models, environments, and tools to be released publicly.