AgentTrek: Síntese de Trajetória de Agente via Orientação de Repetição com Tutoriais da Web

AgentTrek: Agent Trajectory Synthesis via Guiding Replay with Web Tutorials

December 12, 2024

Autores: Yiheng Xu, Dunjie Lu, Zhennan Shen, Junli Wang, Zekun Wang, Yuchen Mao, Caiming Xiong, Tao Yu

cs.AI

Resumo

Agentes de Interface Gráfica do Usuário (GUI) possuem um grande potencial para automatizar tarefas complexas em diversos ambientes digitais, desde aplicações web até software de desktop. No entanto, o desenvolvimento desses agentes é prejudicado pela falta de dados de trajetória de alta qualidade e multi-etapas necessários para um treinamento eficaz. Abordagens existentes dependem de anotações humanas caras e intensivas em trabalho, tornando-as insustentáveis em grande escala. Para enfrentar esse desafio, propomos o AgentTrek, um pipeline escalável de síntese de dados que gera trajetórias de agentes GUI de alta qualidade ao aproveitar tutoriais web. Nosso método reúne automaticamente textos semelhantes a tutoriais da internet, os transforma em metas de tarefas com instruções passo a passo, e emprega um agente de modelo de linguagem visual para simular sua execução em um ambiente digital real. Um avaliador baseado em VLM garante a correção das trajetórias geradas. Demonstramos que treinar agentes GUI com essas trajetórias sintetizadas melhora significativamente sua fundamentação e desempenho de planejamento em relação aos modelos atuais. Além disso, nossa abordagem é mais eficiente em custos em comparação com métodos tradicionais de anotação humana. Este trabalho destaca o potencial da reprodução guiada com tutoriais web como uma estratégia viável para o treinamento em larga escala de agentes GUI, abrindo caminho para agentes digitais mais capazes e autônomos.

English

Graphical User Interface (GUI) agents hold great potential for automating complex tasks across diverse digital environments, from web applications to desktop software. However, the development of such agents is hindered by the lack of high-quality, multi-step trajectory data required for effective training. Existing approaches rely on expensive and labor-intensive human annotation, making them unsustainable at scale. To address this challenge, we propose AgentTrek, a scalable data synthesis pipeline that generates high-quality GUI agent trajectories by leveraging web tutorials. Our method automatically gathers tutorial-like texts from the internet, transforms them into task goals with step-by-step instructions, and employs a visual-language model agent to simulate their execution in a real digital environment. A VLM-based evaluator ensures the correctness of the generated trajectories. We demonstrate that training GUI agents with these synthesized trajectories significantly improves their grounding and planning performance over the current models. Moreover, our approach is more cost-efficient compared to traditional human annotation methods. This work underscores the potential of guided replay with web tutorials as a viable strategy for large-scale GUI agent training, paving the way for more capable and autonomous digital agents.