AgentTrek: Agententrajektoriensynthese durch geführtes Wiederholen mit Web-Tutorials

AgentTrek: Agent Trajectory Synthesis via Guiding Replay with Web Tutorials

December 12, 2024

Autoren: Yiheng Xu, Dunjie Lu, Zhennan Shen, Junli Wang, Zekun Wang, Yuchen Mao, Caiming Xiong, Tao Yu

cs.AI

Zusammenfassung

Grafische Benutzeroberfläche (GUI)-Agenten haben ein großes Potenzial zur Automatisierung komplexer Aufgaben in verschiedenen digitalen Umgebungen, von Webanwendungen bis hin zu Desktop-Software. Die Entwicklung solcher Agenten wird jedoch durch den Mangel an hochwertigen, mehrstufigen Trajektoriendaten behindert, die für ein effektives Training erforderlich sind. Bestehende Ansätze stützen sich auf teure und arbeitsintensive menschliche Annotationen, was sie auf Dauer untragbar macht. Um diese Herausforderung anzugehen, schlagen wir AgentTrek vor, eine skalierbare Datensynthesepipeline, die hochwertige GUI-Agententrajektorien generiert, indem sie Web-Tutorials nutzt. Unsere Methode sammelt automatisch tutorialähnliche Texte aus dem Internet, wandelt sie in Aufgabenziele mit schrittweisen Anweisungen um und setzt einen visuell-sprachlichen Modellagenten ein, um ihre Ausführung in einer realen digitalen Umgebung zu simulieren. Ein auf VLM basierender Evaluierer gewährleistet die Korrektheit der generierten Trajektorien. Wir zeigen, dass das Training von GUI-Agenten mit diesen synthetisierten Trajektorien ihre Verankerungs- und Planungsleistung im Vergleich zu den aktuellen Modellen signifikant verbessert. Darüber hinaus ist unser Ansatz im Vergleich zu traditionellen menschlichen Annotationsmethoden kosteneffizienter. Diese Arbeit unterstreicht das Potenzial von geführtem Wiederholen mit Web-Tutorials als eine tragfähige Strategie für das Training von GUI-Agenten im großen Maßstab und ebnet den Weg für leistungsfähigere und autonomere digitale Agenten.

English

Graphical User Interface (GUI) agents hold great potential for automating complex tasks across diverse digital environments, from web applications to desktop software. However, the development of such agents is hindered by the lack of high-quality, multi-step trajectory data required for effective training. Existing approaches rely on expensive and labor-intensive human annotation, making them unsustainable at scale. To address this challenge, we propose AgentTrek, a scalable data synthesis pipeline that generates high-quality GUI agent trajectories by leveraging web tutorials. Our method automatically gathers tutorial-like texts from the internet, transforms them into task goals with step-by-step instructions, and employs a visual-language model agent to simulate their execution in a real digital environment. A VLM-based evaluator ensures the correctness of the generated trajectories. We demonstrate that training GUI agents with these synthesized trajectories significantly improves their grounding and planning performance over the current models. Moreover, our approach is more cost-efficient compared to traditional human annotation methods. This work underscores the potential of guided replay with web tutorials as a viable strategy for large-scale GUI agent training, paving the way for more capable and autonomous digital agents.