OS-Genesis: Automatisierung des Aufbaus von GUI-Agenten-Trajektorien durch umgekehrte Aufgabensynthese

OS-Genesis: Automating GUI Agent Trajectory Construction via Reverse Task Synthesis

December 27, 2024

Autoren: Qiushi Sun, Kanzhi Cheng, Zichen Ding, Chuanyang Jin, Yian Wang, Fangzhi Xu, Zhenyu Wu, Chengyou Jia, Liheng Chen, Zhoumianze Liu, Ben Kao, Guohao Li, Junxian He, Yu Qiao, Zhiyong Wu

cs.AI

Zusammenfassung

Grafische Benutzeroberfläche (GUI)-Agenten, die von Vision-Sprachmodellen (VLMs) betrieben werden, haben eine computergesteuerte Fähigkeit gezeigt, die menschenähnlich ist. Trotz ihres Nutzens zur Förderung der digitalen Automatisierung besteht weiterhin ein kritischer Engpass: die Sammlung hochwertiger Trajektoriendaten für das Training. Gängige Praktiken zur Sammlung solcher Daten beruhen auf menschlicher Überwachung oder der Erzeugung synthetischer Daten durch die Ausführung vordefinierter Aufgaben, die entweder ressourcenintensiv sind oder die Datenqualität nicht garantieren können. Darüber hinaus leiden diese Methoden unter begrenzter Datenvielfalt und signifikanten Unterschieden zwischen synthetischen Daten und realen Umgebungen. Um diese Herausforderungen anzugehen, schlagen wir OS-Genesis vor, eine neuartige GUI-Datensynthesepipeline, die den herkömmlichen Prozess der Trajektoriensammlung umkehrt. Anstatt auf vordefinierten Aufgaben zu beruhen, ermöglicht OS-Genesis den Agenten zunächst, Umgebungen wahrzunehmen und schrittweise Interaktionen durchzuführen, um dann retrospektiv hochwertige Aufgaben abzuleiten, die eine Erkundung auf Trajektorienebene ermöglichen. Ein Trajektorienbelohnungsmodell wird dann eingesetzt, um die Qualität der generierten Trajektorien zu gewährleisten. Wir zeigen, dass das Training von GUI-Agenten mit OS-Genesis ihre Leistung auf hoch anspruchsvollen Online-Benchmarks signifikant verbessert. Eine eingehende Analyse bestätigt weiterhin die Effizienz von OS-Genesis sowie deren überlegene Datenqualität und -vielfalt im Vergleich zu bestehenden Synthesemethoden. Unsere Codes, Daten und Checkpoints sind verfügbar unter https://qiushisun.github.io/OS-Genesis-Home/ {OS-Genesis Homepage}.

English

Graphical User Interface (GUI) agents powered by Vision-Language Models (VLMs) have demonstrated human-like computer control capability. Despite their utility in advancing digital automation, a critical bottleneck persists: collecting high-quality trajectory data for training. Common practices for collecting such data rely on human supervision or synthetic data generation through executing pre-defined tasks, which are either resource-intensive or unable to guarantee data quality. Moreover, these methods suffer from limited data diversity and significant gaps between synthetic data and real-world environments. To address these challenges, we propose OS-Genesis, a novel GUI data synthesis pipeline that reverses the conventional trajectory collection process. Instead of relying on pre-defined tasks, OS-Genesis enables agents first to perceive environments and perform step-wise interactions, then retrospectively derive high-quality tasks to enable trajectory-level exploration. A trajectory reward model is then employed to ensure the quality of the generated trajectories. We demonstrate that training GUI agents with OS-Genesis significantly improves their performance on highly challenging online benchmarks. In-depth analysis further validates OS-Genesis's efficiency and its superior data quality and diversity compared to existing synthesis methods. Our codes, data, and checkpoints are available at https://qiushisun.github.io/OS-Genesis-Home/{OS-Genesis Homepage}.