OS-Genesis : Automatisation de la construction de trajectoire d'agent GUI via la synthèse de tâches inverses

OS-Genesis: Automating GUI Agent Trajectory Construction via Reverse Task Synthesis

December 27, 2024

Auteurs: Qiushi Sun, Kanzhi Cheng, Zichen Ding, Chuanyang Jin, Yian Wang, Fangzhi Xu, Zhenyu Wu, Chengyou Jia, Liheng Chen, Zhoumianze Liu, Ben Kao, Guohao Li, Junxian He, Yu Qiao, Zhiyong Wu

cs.AI

Résumé

Les agents d'Interface Graphique Utilisateur (GUI) alimentés par des Modèles Vision-Langage (VLM) ont démontré une capacité de contrôle informatique similaire à celle des humains. Malgré leur utilité dans l'avancement de l'automatisation numérique, un goulot d'étranglement critique persiste : la collecte de données de trajectoire de haute qualité pour l'entraînement. Les pratiques courantes pour collecter de telles données reposent sur la supervision humaine ou la génération de données synthétiques par l'exécution de tâches prédéfinies, qui sont soit gourmandes en ressources, soit incapables de garantir la qualité des données. De plus, ces méthodes souffrent d'une diversité de données limitée et de lacunes significatives entre les données synthétiques et les environnements réels. Pour relever ces défis, nous proposons OS-Genesis, un nouveau pipeline de synthèse de données GUI qui inverse le processus conventionnel de collecte de trajectoires. Au lieu de se baser sur des tâches prédéfinies, OS-Genesis permet aux agents de d'abord percevoir les environnements et d'effectuer des interactions étape par étape, puis de dériver rétrospectivement des tâches de haute qualité pour permettre une exploration au niveau des trajectoires. Un modèle de récompense de trajectoire est ensuite utilisé pour garantir la qualité des trajectoires générées. Nous démontrons que l'entraînement des agents GUI avec OS-Genesis améliore significativement leurs performances sur des benchmarks en ligne très difficiles. Une analyse approfondie valide davantage l'efficacité d'OS-Genesis et sa qualité et diversité de données supérieures par rapport aux méthodes de synthèse existantes. Nos codes, données et points de contrôle sont disponibles sur https://qiushisun.github.io/OS-Genesis-Home/{Page d'accueil OS-Genesis}.

English

Graphical User Interface (GUI) agents powered by Vision-Language Models (VLMs) have demonstrated human-like computer control capability. Despite their utility in advancing digital automation, a critical bottleneck persists: collecting high-quality trajectory data for training. Common practices for collecting such data rely on human supervision or synthetic data generation through executing pre-defined tasks, which are either resource-intensive or unable to guarantee data quality. Moreover, these methods suffer from limited data diversity and significant gaps between synthetic data and real-world environments. To address these challenges, we propose OS-Genesis, a novel GUI data synthesis pipeline that reverses the conventional trajectory collection process. Instead of relying on pre-defined tasks, OS-Genesis enables agents first to perceive environments and perform step-wise interactions, then retrospectively derive high-quality tasks to enable trajectory-level exploration. A trajectory reward model is then employed to ensure the quality of the generated trajectories. We demonstrate that training GUI agents with OS-Genesis significantly improves their performance on highly challenging online benchmarks. In-depth analysis further validates OS-Genesis's efficiency and its superior data quality and diversity compared to existing synthesis methods. Our codes, data, and checkpoints are available at https://qiushisun.github.io/OS-Genesis-Home/{OS-Genesis Homepage}.