Assista e Aprenda: Aprendendo a Usar Computadores com Vídeos Online

Watch and Learn: Learning to Use Computers from Online Videos

October 6, 2025

Autores: Chan Hee Song, Yiwen Song, Palash Goyal, Yu Su, Oriana Riva, Hamid Palangi, Tomas Pfister

cs.AI

Resumo

Agentes de uso de computador (CUAs) precisam planejar fluxos de trabalho de tarefas fundamentados em diversas aplicações e ambientes em constante mudança, mas o aprendizado é dificultado pela escassez de dados de treinamento em larga escala e de alta qualidade na aplicação alvo. Os conjuntos de dados existentes são específicos de domínio, estáticos e custosos de anotar, enquanto os métodos atuais de geração de dados sintéticos frequentemente produzem demonstrações de tarefas simplistas ou desalinhadas. Para abordar essas limitações, introduzimos o Watch & Learn (W&L), um framework que converte vídeos de demonstrações humanas facilmente disponíveis na Internet em trajetórias de UI executáveis em larga escala. Em vez de gerar trajetórias diretamente ou depender de heurísticas de raciocínio ad hoc, formulamos o problema como um objetivo de dinâmica inversa: prever a ação do usuário a partir de estados consecutivos da tela. Essa formulação reduz a engenharia manual, é mais fácil de aprender e generaliza de forma mais robusta entre aplicações. Concretamente, desenvolvemos um pipeline de rotulagem de dinâmica inversa com recuperação de vídeos consciente da tarefa, geramos mais de 53 mil trajetórias de alta qualidade a partir de vídeos brutos da web, e demonstramos que essas trajetórias melhoram os CUAs tanto como demonstrações em contexto quanto como dados de treinamento supervisionados. No desafiador benchmark OSWorld, as trajetórias de UI extraídas com o W&L consistentemente aprimoram tanto frameworks de propósito geral quanto os mais avançados em contexto, e proporcionam ganhos mais robustos para modelos de código aberto sob treinamento supervisionado. Esses resultados destacam os vídeos de demonstrações humanas em escala da web como uma base prática e escalável para avançar os CUAs em direção à implantação no mundo real.

English

Computer use agents (CUAs) need to plan task workflows grounded in diverse, ever-changing applications and environments, but learning is hindered by the scarcity of large-scale, high-quality training data in the target application. Existing datasets are domain-specific, static, and costly to annotate, while current synthetic data generation methods often yield simplistic or misaligned task demonstrations. To address these limitations, we introduce Watch & Learn (W&L), a framework that converts human demonstration videos readily available on the Internet into executable UI trajectories at scale. Instead of directly generating trajectories or relying on ad hoc reasoning heuristics, we cast the problem as an inverse dynamics objective: predicting the user's action from consecutive screen states. This formulation reduces manual engineering, is easier to learn, and generalizes more robustly across applications. Concretely, we develop an inverse dynamics labeling pipeline with task-aware video retrieval, generate over 53k high-quality trajectories from raw web videos, and demonstrate that these trajectories improve CUAs both as in-context demonstrations and as supervised training data. On the challenging OSWorld benchmark, UI trajectories extracted with W&L consistently enhance both general-purpose and state-of-the-art frameworks in-context, and deliver stronger gains for open-source models under supervised training. These results highlight web-scale human demonstration videos as a practical and scalable foundation for advancing CUAs towards real-world deployment.