UI-MOPD: 継続的GUIエージェント学習のためのマルチプラットフォーム・オンポリシー蒸留

要旨

近年のマルチモーダル基盤モデルとエージェントシステムの進展により、GUIエージェントは単一プラットフォーム上のタスク実行からクロスプラットフォーム対話へと進化している。しかし、複数プラットフォームに対応するGUIエージェントの構築には依然として課題が残る。一方では、高品質で実行可能なクロスプラットフォーム操作軌跡が依然として不足しており、既存のデータはプラットフォーム網羅範囲が限られていることが多い。他方では、異なるプラットフォームは異なる操作慣習を示すため、共同訓練や継続訓練では行動パターンの混合、プラットフォーム固有の能力低下、破滅的忘却が生じやすい。これらの課題に対処するため、我々は高品質なクロスプラットフォームGUI操作データセットUni-GUIを構築し、さらにGUIエージェントの継続学習にマルチ教師オン方策蒸留を初めて導入する手法UI-MOPDを提案する。UI-MOPDは現在の環境に応じてプラットフォーム固有の教師を動的に選択し、プラットフォーム条件付き蒸留を通じてプラットフォーム固有の行動事前知識を共有方策に転移することで、既存プラットフォームの能力を維持しつつ新たなプラットフォームへの適応を可能にする。OSWorldとMobileWorldでの実験では、UI-MOPDはそれぞれ38.2%と12.0%のタスク成功率を達成し、クロスプラットフォームの能力保持と新プラットフォーム適応のバランスにおける有効性を示している。プロジェクトページ: https://elispectre.github.io/UI-MOPD/

English

Recent advances in multimodal foundation models and agent systems have driven GUI agents from single-platform task execution toward cross-platform interaction. However, building multi-platform GUI agents remains challenging. On one hand, high-quality and executable cross-platform interaction trajectories are still scarce, and existing data often suffer from limited platform coverage. On the other hand, different platforms exhibit distinct interaction conventions, making joint or continual training prone to behavioral pattern mixing, platform-specific capability degradation, and catastrophic forgetting. To address these challenges, we construct Uni-GUI, a high-quality cross-platform GUI interaction dataset, and propose UI-MOPD, the first method that incorporates multi-teacher on-policy distillation into continual learning for GUI agents. UI-MOPD dynamically selects a platform-specific teacher according to the current environment and transfers platform-specific behavioral priors to a shared policy through platform-conditioned distillation, enabling adaptation to new platforms while preserving capabilities on existing ones. Experiments on OSWorld and MobileWorld show that UI-MOPD achieves task success rates of 38.2% and 12.0%, respectively, demonstrating its effectiveness in balancing cross-platform capability retention and new-platform adaptation. Project page: https://elispectre.github.io/UI-MOPD/.