AgentTrek : Synthèse de trajectoire d'agent via guidage de la relecture avec des tutoriels Web

AgentTrek: Agent Trajectory Synthesis via Guiding Replay with Web Tutorials

December 12, 2024

Auteurs: Yiheng Xu, Dunjie Lu, Zhennan Shen, Junli Wang, Zekun Wang, Yuchen Mao, Caiming Xiong, Tao Yu

cs.AI

Résumé

Les agents d'Interface Graphique Utilisateur (GUI) ont un grand potentiel pour automatiser des tâches complexes dans divers environnements numériques, des applications web aux logiciels de bureau. Cependant, le développement de tels agents est entravé par le manque de données de trajectoire multi-étapes de haute qualité nécessaires pour un entraînement efficace. Les approches existantes reposent sur des annotations humaines coûteuses et intensives en main-d'œuvre, les rendant non durables à grande échelle. Pour relever ce défi, nous proposons AgentTrek, un pipeline de synthèse de données évolutif qui génère des trajectoires d'agents GUI de haute qualité en exploitant des tutoriels web. Notre méthode rassemble automatiquement des textes de type tutoriel sur internet, les transforme en objectifs de tâche avec des instructions étape par étape, et utilise un agent de modèle de langage visuel pour simuler leur exécution dans un environnement numérique réel. Un évaluateur basé sur le VLM garantit la correction des trajectoires générées. Nous démontrons que l'entraînement des agents GUI avec ces trajectoires synthétisées améliore significativement leur ancrage et leurs performances de planification par rapport aux modèles actuels. De plus, notre approche est plus rentable par rapport aux méthodes traditionnelles d'annotation humaine. Ce travail souligne le potentiel de la relecture guidée avec des tutoriels web comme stratégie viable pour l'entraînement à grande échelle des agents GUI, ouvrant la voie à des agents numériques plus capables et autonomes.

English

Graphical User Interface (GUI) agents hold great potential for automating complex tasks across diverse digital environments, from web applications to desktop software. However, the development of such agents is hindered by the lack of high-quality, multi-step trajectory data required for effective training. Existing approaches rely on expensive and labor-intensive human annotation, making them unsustainable at scale. To address this challenge, we propose AgentTrek, a scalable data synthesis pipeline that generates high-quality GUI agent trajectories by leveraging web tutorials. Our method automatically gathers tutorial-like texts from the internet, transforms them into task goals with step-by-step instructions, and employs a visual-language model agent to simulate their execution in a real digital environment. A VLM-based evaluator ensures the correctness of the generated trajectories. We demonstrate that training GUI agents with these synthesized trajectories significantly improves their grounding and planning performance over the current models. Moreover, our approach is more cost-efficient compared to traditional human annotation methods. This work underscores the potential of guided replay with web tutorials as a viable strategy for large-scale GUI agent training, paving the way for more capable and autonomous digital agents.