UI-MOPD: Multi-platform on-policy distillatie voor continuaal GUI-agent leren

Samenvatting

Recente vooruitgang in multimodale funderingsmodellen en agentsystemen heeft GUI-agenten gedreven van taakuitvoering op één platform naar cross-platform interactie. Het bouwen van multi-platform GUI-agenten blijft echter uitdagend. Enerzijds zijn hoogwaardige en uitvoerbare cross-platform interactietrajecten nog steeds schaars, en bestaande data hebben vaak een beperkte platformdekking. Anderzijds vertonen verschillende platforms verschillende interactieconventies, waardoor gezamenlijke of continue training geneigd is tot vermenging van gedragspatronen, platformspecifieke capaciteitsvermindering en catastrofaal vergeten. Om deze uitdagingen aan te pakken, construeren we Uni-GUI, een hoogwaardige cross-platform GUI-interactiedataset, en introduceren we UI-MOPD, de eerste methode die multi-teacher on-policy destillatie integreert in continu leren voor GUI-agenten. UI-MOPD selecteert dynamisch een platformspecifieke leraar op basis van de huidige omgeving en draagt platformspecifieke gedragsprioriteiten over naar een gedeeld beleid via platform-geconditioneerde destillatie, waardoor aanpassing aan nieuwe platforms mogelijk wordt terwijl capaciteiten op bestaande platforms behouden blijven. Experimenten op OSWorld en MobileWorld tonen aan dat UI-MOPD taaksuccespercentages van respectievelijk 38,2% en 12,0% behaalt, wat de effectiviteit ervan aantoont in het balanceren van cross-platform capaciteitsbehoud en aanpassing aan nieuwe platforms. Projectpagina: https://elispectre.github.io/UI-MOPD/.

English

Recent advances in multimodal foundation models and agent systems have driven GUI agents from single-platform task execution toward cross-platform interaction. However, building multi-platform GUI agents remains challenging. On one hand, high-quality and executable cross-platform interaction trajectories are still scarce, and existing data often suffer from limited platform coverage. On the other hand, different platforms exhibit distinct interaction conventions, making joint or continual training prone to behavioral pattern mixing, platform-specific capability degradation, and catastrophic forgetting. To address these challenges, we construct Uni-GUI, a high-quality cross-platform GUI interaction dataset, and propose UI-MOPD, the first method that incorporates multi-teacher on-policy distillation into continual learning for GUI agents. UI-MOPD dynamically selects a platform-specific teacher according to the current environment and transfers platform-specific behavioral priors to a shared policy through platform-conditioned distillation, enabling adaptation to new platforms while preserving capabilities on existing ones. Experiments on OSWorld and MobileWorld show that UI-MOPD achieves task success rates of 38.2% and 12.0%, respectively, demonstrating its effectiveness in balancing cross-platform capability retention and new-platform adaptation. Project page: https://elispectre.github.io/UI-MOPD/.