OS-Genesis: Automatiseren van de constructie van GUI-agenttrajecten via omgekeerde taaksynthese

OS-Genesis: Automating GUI Agent Trajectory Construction via Reverse Task Synthesis

December 27, 2024

Auteurs: Qiushi Sun, Kanzhi Cheng, Zichen Ding, Chuanyang Jin, Yian Wang, Fangzhi Xu, Zhenyu Wu, Chengyou Jia, Liheng Chen, Zhoumianze Liu, Ben Kao, Guohao Li, Junxian He, Yu Qiao, Zhiyong Wu

cs.AI

Samenvatting

Grafische gebruikersinterface (GUI) agenten aangedreven door Visie-Taal Modellen (VLM's) hebben mensachtige computeraansturingscapaciteiten aangetoond. Ondanks hun nut bij het bevorderen van digitale automatisering, blijft een kritieke bottleneck bestaan: het verzamelen van hoogwaardige trajectdata voor training. Gangbare praktijken voor het verzamelen van dergelijke data vertrouwen op menselijk toezicht of synthetische data generatie door het uitvoeren van vooraf gedefinieerde taken, die ofwel veel middelen vergen of niet in staat zijn om de datakwaliteit te garanderen. Bovendien kampen deze methoden met beperkte data diversiteit en aanzienlijke discrepanties tussen synthetische data en echte omgevingen. Om deze uitdagingen aan te pakken, stellen wij OS-Genesis voor, een nieuw GUI data synthese proces dat het conventionele trajectverzamelingsproces omkeert. In plaats van te vertrouwen op vooraf gedefinieerde taken, stelt OS-Genesis agenten in staat om eerst omgevingen waar te nemen en stapsgewijze interacties uit te voeren, om vervolgens retrospectief hoogwaardige taken af te leiden om trajectniveau verkenning mogelijk te maken. Een trajectbeloningsmodel wordt vervolgens ingezet om de kwaliteit van de gegenereerde trajecten te waarborgen. We tonen aan dat het trainen van GUI agenten met OS-Genesis aanzienlijk hun prestaties verbetert op zeer uitdagende online benchmarks. Diepgaande analyse bevestigt verder de efficiëntie van OS-Genesis en de superieure datakwaliteit en diversiteit in vergelijking met bestaande synthese methoden. Onze codes, data en checkpoints zijn beschikbaar op https://qiushisun.github.io/OS-Genesis-Home/{OS-Genesis Homepage}.

English

Graphical User Interface (GUI) agents powered by Vision-Language Models (VLMs) have demonstrated human-like computer control capability. Despite their utility in advancing digital automation, a critical bottleneck persists: collecting high-quality trajectory data for training. Common practices for collecting such data rely on human supervision or synthetic data generation through executing pre-defined tasks, which are either resource-intensive or unable to guarantee data quality. Moreover, these methods suffer from limited data diversity and significant gaps between synthetic data and real-world environments. To address these challenges, we propose OS-Genesis, a novel GUI data synthesis pipeline that reverses the conventional trajectory collection process. Instead of relying on pre-defined tasks, OS-Genesis enables agents first to perceive environments and perform step-wise interactions, then retrospectively derive high-quality tasks to enable trajectory-level exploration. A trajectory reward model is then employed to ensure the quality of the generated trajectories. We demonstrate that training GUI agents with OS-Genesis significantly improves their performance on highly challenging online benchmarks. In-depth analysis further validates OS-Genesis's efficiency and its superior data quality and diversity compared to existing synthesis methods. Our codes, data, and checkpoints are available at https://qiushisun.github.io/OS-Genesis-Home/{OS-Genesis Homepage}.