OS-Genesis: Automatización de la Construcción de Trayectorias de Agentes GUI a través de la Síntesis Inversa de Tareas

OS-Genesis: Automating GUI Agent Trajectory Construction via Reverse Task Synthesis

December 27, 2024

Autores: Qiushi Sun, Kanzhi Cheng, Zichen Ding, Chuanyang Jin, Yian Wang, Fangzhi Xu, Zhenyu Wu, Chengyou Jia, Liheng Chen, Zhoumianze Liu, Ben Kao, Guohao Li, Junxian He, Yu Qiao, Zhiyong Wu

cs.AI

Resumen

Los agentes de Interfaz Gráfica de Usuario (GUI) impulsados por Modelos de Visión-Lenguaje (VLM) han demostrado capacidad de control de computadora similar a la humana. A pesar de su utilidad en el avance de la automatización digital, persiste un cuello de botella crítico: la recopilación de datos de trayectoria de alta calidad para el entrenamiento. Las prácticas comunes para recopilar dichos datos dependen de la supervisión humana o la generación de datos sintéticos mediante la ejecución de tareas predefinidas, que son o bien intensivas en recursos o no pueden garantizar la calidad de los datos. Además, estos métodos sufren de una diversidad limitada de datos y brechas significativas entre los datos sintéticos y los entornos del mundo real. Para abordar estos desafíos, proponemos OS-Genesis, un nuevo proceso de síntesis de datos de GUI que invierte el proceso convencional de recopilación de trayectorias. En lugar de depender de tareas predefinidas, OS-Genesis permite a los agentes primero percibir los entornos y realizar interacciones paso a paso, para luego derivar retrospectivamente tareas de alta calidad que permitan la exploración a nivel de trayectoria. Luego se emplea un modelo de recompensa de trayectoria para garantizar la calidad de las trayectorias generadas. Demostramos que entrenar agentes de GUI con OS-Genesis mejora significativamente su rendimiento en desafiantes benchmarks en línea. Un análisis detallado valida aún más la eficiencia de OS-Genesis y su calidad y diversidad de datos superiores en comparación con los métodos de síntesis existentes. Nuestros códigos, datos y puntos de control están disponibles en https://qiushisun.github.io/OS-Genesis-Home/{Página de inicio de OS-Genesis}.

English

Graphical User Interface (GUI) agents powered by Vision-Language Models (VLMs) have demonstrated human-like computer control capability. Despite their utility in advancing digital automation, a critical bottleneck persists: collecting high-quality trajectory data for training. Common practices for collecting such data rely on human supervision or synthetic data generation through executing pre-defined tasks, which are either resource-intensive or unable to guarantee data quality. Moreover, these methods suffer from limited data diversity and significant gaps between synthetic data and real-world environments. To address these challenges, we propose OS-Genesis, a novel GUI data synthesis pipeline that reverses the conventional trajectory collection process. Instead of relying on pre-defined tasks, OS-Genesis enables agents first to perceive environments and perform step-wise interactions, then retrospectively derive high-quality tasks to enable trajectory-level exploration. A trajectory reward model is then employed to ensure the quality of the generated trajectories. We demonstrate that training GUI agents with OS-Genesis significantly improves their performance on highly challenging online benchmarks. In-depth analysis further validates OS-Genesis's efficiency and its superior data quality and diversity compared to existing synthesis methods. Our codes, data, and checkpoints are available at https://qiushisun.github.io/OS-Genesis-Home/{OS-Genesis Homepage}.