UI-MOPD: 지속적 GUI 에이전트 학습을 위한 다중 플랫폼 온-정책 증류

초록

최근 멀티모달 기반 모델과 에이전트 시스템의 발전으로 GUI 에이전트는 단일 플랫폼 작업 수행에서 플랫폼 간 상호작용으로 나아가고 있다. 그러나 다중 플랫폼 GUI 에이전트를 구축하는 것은 여전히 어려운 과제이다. 한편으로는 고품질의 실행 가능한 플랫폼 간 상호작용 궤적이 여전히 부족하며, 기존 데이터는 종종 제한된 플랫폼 범위로 인해 어려움을 겪는다. 다른 한편으로는 서로 다른 플랫폼이 상이한 상호작용 규칙을 나타내므로, 공동 학습이나 지속적 학습 시 행동 패턴 혼합, 플랫폼 특화 능력 저하, 그리고 파국적 망각이 발생하기 쉽다. 이러한 문제를 해결하기 위해 우리는 고품질의 플랫폼 간 GUI 상호작용 데이터셋인 Uni-GUI를 구축하고, GUI 에이전트를 위한 지속적 학습에 다중 교사 온-폴리시 증류(multi-teacher on-policy distillation)를 최초로 통합한 방법인 UI-MOPD를 제안한다. UI-MOPD는 현재 환경에 따라 플랫폼 특화 교사를 동적으로 선택하고, 플랫폼 조건부 증류(platform-conditioned distillation)를 통해 플랫폼 특화 행동 사전 정보를 공유 정책에 전달함으로써 기존 플랫폼의 능력을 유지하면서 새로운 플랫폼에 적응할 수 있도록 한다. OSWorld와 MobileWorld에서의 실험 결과, UI-MOPD는 각각 38.2%와 12.0%의 작업 성공률을 달성하여 플랫폼 간 능력 유지와 새로운 플랫폼 적응의 균형을 맞추는 데 효과적임을 입증한다. 프로젝트 페이지: https://elispectre.github.io/UI-MOPD/.

English

Recent advances in multimodal foundation models and agent systems have driven GUI agents from single-platform task execution toward cross-platform interaction. However, building multi-platform GUI agents remains challenging. On one hand, high-quality and executable cross-platform interaction trajectories are still scarce, and existing data often suffer from limited platform coverage. On the other hand, different platforms exhibit distinct interaction conventions, making joint or continual training prone to behavioral pattern mixing, platform-specific capability degradation, and catastrophic forgetting. To address these challenges, we construct Uni-GUI, a high-quality cross-platform GUI interaction dataset, and propose UI-MOPD, the first method that incorporates multi-teacher on-policy distillation into continual learning for GUI agents. UI-MOPD dynamically selects a platform-specific teacher according to the current environment and transfers platform-specific behavioral priors to a shared policy through platform-conditioned distillation, enabling adaptation to new platforms while preserving capabilities on existing ones. Experiments on OSWorld and MobileWorld show that UI-MOPD achieves task success rates of 38.2% and 12.0%, respectively, demonstrating its effectiveness in balancing cross-platform capability retention and new-platform adaptation. Project page: https://elispectre.github.io/UI-MOPD/.