OS-Genesis: Автоматизация построения траектории агента GUI через обратный синтез задач.

OS-Genesis: Automating GUI Agent Trajectory Construction via Reverse Task Synthesis

December 27, 2024

Авторы: Qiushi Sun, Kanzhi Cheng, Zichen Ding, Chuanyang Jin, Yian Wang, Fangzhi Xu, Zhenyu Wu, Chengyou Jia, Liheng Chen, Zhoumianze Liu, Ben Kao, Guohao Li, Junxian He, Yu Qiao, Zhiyong Wu

cs.AI

Аннотация

Агенты с графическим пользовательским интерфейсом (GUI), оснащенные моделями видео-языка (VLM), продемонстрировали возможность управления компьютером, сходную с человеческой. Несмотря на их полезность в продвижении цифровой автоматизации, существует критическое узкое место: сбор высококачественных траекторных данных для обучения. Обычные практики сбора таких данных опираются на человеческий контроль или генерацию синтетических данных путем выполнения заранее определенных задач, что либо требует больших ресурсов, либо не гарантирует качество данных. Более того, эти методы страдают от ограниченной разнообразности данных и значительных разрывов между синтетическими данными и реальными средами. Для решения этих проблем мы предлагаем OS-Genesis, новую конвейерную систему синтеза данных GUI, которая изменяет обычный процесс сбора траекторий. Вместо полагания на заранее определенные задачи, OS-Genesis позволяет агентам сначала воспринимать среды и выполнять пошаговые взаимодействия, а затем ретроспективно выявлять высококачественные задачи для обеспечения исследования на уровне траекторий. Затем используется модель вознаграждения за траекторию, чтобы гарантировать качество сгенерированных траекторий. Мы демонстрируем, что обучение агентов GUI с помощью OS-Genesis значительно улучшает их производительность на высоко сложных онлайн-бенчмарках. Глубокий анализ дополнительно подтверждает эффективность OS-Genesis и его превосходство по качеству и разнообразию данных по сравнению с существующими методами синтеза. Наш код, данные и контрольные точки доступны на https://qiushisun.github.io/OS-Genesis-Home/{Домашняя страница OS-Genesis}.

English

Graphical User Interface (GUI) agents powered by Vision-Language Models (VLMs) have demonstrated human-like computer control capability. Despite their utility in advancing digital automation, a critical bottleneck persists: collecting high-quality trajectory data for training. Common practices for collecting such data rely on human supervision or synthetic data generation through executing pre-defined tasks, which are either resource-intensive or unable to guarantee data quality. Moreover, these methods suffer from limited data diversity and significant gaps between synthetic data and real-world environments. To address these challenges, we propose OS-Genesis, a novel GUI data synthesis pipeline that reverses the conventional trajectory collection process. Instead of relying on pre-defined tasks, OS-Genesis enables agents first to perceive environments and perform step-wise interactions, then retrospectively derive high-quality tasks to enable trajectory-level exploration. A trajectory reward model is then employed to ensure the quality of the generated trajectories. We demonstrate that training GUI agents with OS-Genesis significantly improves their performance on highly challenging online benchmarks. In-depth analysis further validates OS-Genesis's efficiency and its superior data quality and diversity compared to existing synthesis methods. Our codes, data, and checkpoints are available at https://qiushisun.github.io/OS-Genesis-Home/{OS-Genesis Homepage}.