AgentTrek: Síntesis de Trayectoria de Agente a través de Reproducción Guiada con Tutoriales Web

AgentTrek: Agent Trajectory Synthesis via Guiding Replay with Web Tutorials

December 12, 2024

Autores: Yiheng Xu, Dunjie Lu, Zhennan Shen, Junli Wang, Zekun Wang, Yuchen Mao, Caiming Xiong, Tao Yu

cs.AI

Resumen

Los agentes de Interfaz Gráfica de Usuario (GUI) tienen un gran potencial para automatizar tareas complejas en diversos entornos digitales, desde aplicaciones web hasta software de escritorio. Sin embargo, el desarrollo de tales agentes se ve obstaculizado por la falta de datos de trayectorias de múltiples pasos de alta calidad necesarios para un entrenamiento efectivo. Los enfoques existentes dependen de una anotación humana costosa y laboriosa, lo que los hace insostenibles a gran escala. Para abordar este desafío, proponemos AgentTrek, un proceso de síntesis de datos escalable que genera trayectorias de agentes GUI de alta calidad aprovechando tutoriales web. Nuestro método recopila automáticamente textos similares a tutoriales de internet, los transforma en objetivos de tarea con instrucciones paso a paso y emplea un agente de modelo de lenguaje visual para simular su ejecución en un entorno digital real. Un evaluador basado en VLM garantiza la corrección de las trayectorias generadas. Demostramos que el entrenamiento de agentes GUI con estas trayectorias sintetizadas mejora significativamente su fundamentación y rendimiento de planificación en comparación con los modelos actuales. Además, nuestro enfoque es más rentable en comparación con los métodos tradicionales de anotación humana. Este trabajo subraya el potencial de la repetición guiada con tutoriales web como una estrategia viable para el entrenamiento a gran escala de agentes GUI, allanando el camino para agentes digitales más capaces y autónomos.

English

Graphical User Interface (GUI) agents hold great potential for automating complex tasks across diverse digital environments, from web applications to desktop software. However, the development of such agents is hindered by the lack of high-quality, multi-step trajectory data required for effective training. Existing approaches rely on expensive and labor-intensive human annotation, making them unsustainable at scale. To address this challenge, we propose AgentTrek, a scalable data synthesis pipeline that generates high-quality GUI agent trajectories by leveraging web tutorials. Our method automatically gathers tutorial-like texts from the internet, transforms them into task goals with step-by-step instructions, and employs a visual-language model agent to simulate their execution in a real digital environment. A VLM-based evaluator ensures the correctness of the generated trajectories. We demonstrate that training GUI agents with these synthesized trajectories significantly improves their grounding and planning performance over the current models. Moreover, our approach is more cost-efficient compared to traditional human annotation methods. This work underscores the potential of guided replay with web tutorials as a viable strategy for large-scale GUI agent training, paving the way for more capable and autonomous digital agents.