UI-MOPD : Distillation multi-plateforme sur politique pour l'apprentissage continu d'agent d'interface graphique

Résumé

Les récentes avancées dans les modèles fondamentaux multimodaux et les systèmes d’agents ont conduit les agents d’interface utilisateur graphique (GUI) d’une exécution de tâches sur une seule plateforme vers une interaction multiplateforme. Cependant, la construction d’agents GUI multiplateformes reste difficile. D’une part, les trajectoires d’interaction multiplateformes de haute qualité et exécutables restent rares, et les données existantes souffrent souvent d’une couverture limitée des plateformes. D’autre part, différentes plateformes présentent des conventions d’interaction distinctes, ce qui rend l’apprentissage conjoint ou continu sujet au mélange de modèles comportementaux, à la dégradation des capacités spécifiques à chaque plateforme et à l’oubli catastrophique. Pour relever ces défis, nous construisons Uni-GUI, un ensemble de données d’interaction GUI multiplateforme de haute qualité, et proposons UI-MOPD, la première méthode qui intègre la distillation multi-enseignant sur politique (on-policy) dans l’apprentissage continu pour les agents GUI. UI-MOPD sélectionne dynamiquement un enseignant spécifique à la plateforme en fonction de l’environnement actuel et transfère les a priori comportementaux spécifiques à la plateforme vers une politique partagée via une distillation conditionnée par la plateforme, permettant une adaptation aux nouvelles plateformes tout en préservant les capacités sur les existantes. Les expériences sur OSWorld et MobileWorld montrent que UI-MOPD atteint des taux de succès de tâche de 38,2 % et 12,0 %, respectivement, démontrant son efficacité à équilibrer la rétention des capacités multiplateformes et l’adaptation à de nouvelles plateformes. Page du projet : https://elispectre.github.io/UI-MOPD/.

English

Recent advances in multimodal foundation models and agent systems have driven GUI agents from single-platform task execution toward cross-platform interaction. However, building multi-platform GUI agents remains challenging. On one hand, high-quality and executable cross-platform interaction trajectories are still scarce, and existing data often suffer from limited platform coverage. On the other hand, different platforms exhibit distinct interaction conventions, making joint or continual training prone to behavioral pattern mixing, platform-specific capability degradation, and catastrophic forgetting. To address these challenges, we construct Uni-GUI, a high-quality cross-platform GUI interaction dataset, and propose UI-MOPD, the first method that incorporates multi-teacher on-policy distillation into continual learning for GUI agents. UI-MOPD dynamically selects a platform-specific teacher according to the current environment and transfers platform-specific behavioral priors to a shared policy through platform-conditioned distillation, enabling adaptation to new platforms while preserving capabilities on existing ones. Experiments on OSWorld and MobileWorld show that UI-MOPD achieves task success rates of 38.2% and 12.0%, respectively, demonstrating its effectiveness in balancing cross-platform capability retention and new-platform adaptation. Project page: https://elispectre.github.io/UI-MOPD/.