AgentTrek: Синтез траектории агента с помощью направляющего повтора с веб-учебниками

AgentTrek: Agent Trajectory Synthesis via Guiding Replay with Web Tutorials

December 12, 2024

Авторы: Yiheng Xu, Dunjie Lu, Zhennan Shen, Junli Wang, Zekun Wang, Yuchen Mao, Caiming Xiong, Tao Yu

cs.AI

Аннотация

Агенты с графическим пользовательским интерфейсом (GUI) обладают большим потенциалом для автоматизации сложных задач в различных цифровых средах, от веб-приложений до программного обеспечения на рабочем столе. Однако разработка таких агентов затруднена из-за отсутствия высококачественных многошаговых траекторий, необходимых для эффективного обучения. Существующие подходы полагаются на дорогостоящую и трудоемкую аннотацию людей, что делает их невозможными для масштабирования. Для решения этой проблемы мы предлагаем AgentTrek, масштабный конвейер синтеза данных, который генерирует высококачественные траектории агентов с GUI, используя веб-учебники. Наш метод автоматически собирает тексты, похожие на учебники, из интернета, преобразует их в целевые задачи с пошаговыми инструкциями и использует агента с визуально-языковой моделью для моделирования их выполнения в реальной цифровой среде. Оценщик на основе VLM обеспечивает правильность сгенерированных траекторий. Мы демонстрируем, что обучение агентов с GUI на основе этих синтезированных траекторий значительно улучшает их базовую и планировочную производительность по сравнению с текущими моделями. Более того, наш подход более экономичен по сравнению с традиционными методами аннотации людей. Эта работа подчеркивает потенциал направленного повторения с использованием веб-учебников как жизнеспособной стратегии для обучения агентов с GUI в крупном масштабе, открывая путь для более способных и автономных цифровых агентов.

English

Graphical User Interface (GUI) agents hold great potential for automating complex tasks across diverse digital environments, from web applications to desktop software. However, the development of such agents is hindered by the lack of high-quality, multi-step trajectory data required for effective training. Existing approaches rely on expensive and labor-intensive human annotation, making them unsustainable at scale. To address this challenge, we propose AgentTrek, a scalable data synthesis pipeline that generates high-quality GUI agent trajectories by leveraging web tutorials. Our method automatically gathers tutorial-like texts from the internet, transforms them into task goals with step-by-step instructions, and employs a visual-language model agent to simulate their execution in a real digital environment. A VLM-based evaluator ensures the correctness of the generated trajectories. We demonstrate that training GUI agents with these synthesized trajectories significantly improves their grounding and planning performance over the current models. Moreover, our approach is more cost-efficient compared to traditional human annotation methods. This work underscores the potential of guided replay with web tutorials as a viable strategy for large-scale GUI agent training, paving the way for more capable and autonomous digital agents.