UI-MOPD: Multi-Plattform On-Policy Distillation für kontinuierliches GUI-Agenten-Lernen

Zusammenfassung

Jüngste Fortschritte bei multimodalen Fundamentmodellen und Agentensystemen haben GUI-Agenten von der Aufgabenausführung auf einer einzelnen Plattform hin zur plattformübergreifenden Interaktion geführt. Der Aufbau von Multi-Plattform-GUI-Agenten bleibt jedoch herausfordernd. Einerseits sind qualitativ hochwertige und ausführbare plattformübergreifende Interaktionstrajektorien nach wie vor rar, und vorhandene Daten leiden oft unter einer begrenzten Plattformabdeckung. Andererseits weisen verschiedene Plattformen unterschiedliche Interaktionskonventionen auf, sodass gemeinsames oder kontinuierliches Training anfällig für eine Vermischung von Verhaltensmustern, einen Abbauf plattformspezifischer Fähigkeiten und katastrophales Vergessen ist. Um diese Herausforderungen zu bewältigen, konstruieren wir Uni-GUI, einen hochwertigen plattformübergreifenden GUI-Interaktionsdatensatz, und schlagen UI-MOPD vor, die erste Methode, die Multi-Teacher-On-Policy-Destillation in kontinuierliches Lernen für GUI-Agenten integriert. UI-MOPD wählt dynamisch einen plattformspezifischen Lehrer basierend auf der aktuellen Umgebung aus und überträgt plattformspezifische Verhaltensprioritäten durch plattformkonditionierte Destillation auf eine gemeinsame Policy, wodurch eine Anpassung an neue Plattformen unter Beibehaltung der Fähigkeiten auf bestehenden ermöglicht wird. Experimente auf OSWorld und MobileWorld zeigen, dass UI-MOPD Aufgaben-Erfolgsraten von 38,2 % bzw. 12,0 % erzielt, was seine Wirksamkeit bei der Balance zwischen plattformübergreifender Fähigkeitserhaltung und Anpassung an neue Plattformen belegt. Projektseite: https://elispectre.github.io/UI-MOPD/.

English

Recent advances in multimodal foundation models and agent systems have driven GUI agents from single-platform task execution toward cross-platform interaction. However, building multi-platform GUI agents remains challenging. On one hand, high-quality and executable cross-platform interaction trajectories are still scarce, and existing data often suffer from limited platform coverage. On the other hand, different platforms exhibit distinct interaction conventions, making joint or continual training prone to behavioral pattern mixing, platform-specific capability degradation, and catastrophic forgetting. To address these challenges, we construct Uni-GUI, a high-quality cross-platform GUI interaction dataset, and propose UI-MOPD, the first method that incorporates multi-teacher on-policy distillation into continual learning for GUI agents. UI-MOPD dynamically selects a platform-specific teacher according to the current environment and transfers platform-specific behavioral priors to a shared policy through platform-conditioned distillation, enabling adaptation to new platforms while preserving capabilities on existing ones. Experiments on OSWorld and MobileWorld show that UI-MOPD achieves task success rates of 38.2% and 12.0%, respectively, demonstrating its effectiveness in balancing cross-platform capability retention and new-platform adaptation. Project page: https://elispectre.github.io/UI-MOPD/.