Guarda e Impara: Apprendere l'Uso dei Computer da Video Online

Watch and Learn: Learning to Use Computers from Online Videos

October 6, 2025

Autori: Chan Hee Song, Yiwen Song, Palash Goyal, Yu Su, Oriana Riva, Hamid Palangi, Tomas Pfister

cs.AI

Abstract

Gli agenti di utilizzo del computer (CUAs) devono pianificare flussi di lavoro basati su applicazioni e ambienti diversi e in continua evoluzione, ma l'apprendimento è ostacolato dalla scarsità di dati di addestramento su larga scala e di alta qualità nell'applicazione target. I dataset esistenti sono specifici per dominio, statici e costosi da annotare, mentre i metodi attuali di generazione di dati sintetici spesso producono dimostrazioni di task semplicistiche o disallineate. Per affrontare queste limitazioni, introduciamo Watch & Learn (W&L), un framework che converte video di dimostrazione umana facilmente disponibili su Internet in traiettorie eseguibili dell'interfaccia utente (UI) su larga scala. Invece di generare direttamente traiettorie o fare affidamento su euristiche di ragionamento ad hoc, formuliamo il problema come un obiettivo di dinamica inversa: prevedere l'azione dell'utente da stati consecutivi dello schermo. Questa formulazione riduce l'ingegnerizzazione manuale, è più facile da apprendere e generalizza in modo più robusto tra le applicazioni. Nello specifico, sviluppiamo una pipeline di etichettatura a dinamica inversa con recupero video consapevole del task, generiamo oltre 53k traiettorie di alta qualità da video web grezzi e dimostriamo che queste traiettorie migliorano i CUAs sia come dimostrazioni in contesto che come dati di addestramento supervisionati. Sul benchmark impegnativo di OSWorld, le traiettorie UI estratte con W&L migliorano costantemente sia i framework generici che quelli all'avanguardia in contesto e offrono guadagni più significativi per i modelli open-source sotto addestramento supervisionato. Questi risultati evidenziano i video di dimostrazione umana su scala web come una base pratica e scalabile per far progredire i CUAs verso il dispiegamento nel mondo reale.

English

Computer use agents (CUAs) need to plan task workflows grounded in diverse, ever-changing applications and environments, but learning is hindered by the scarcity of large-scale, high-quality training data in the target application. Existing datasets are domain-specific, static, and costly to annotate, while current synthetic data generation methods often yield simplistic or misaligned task demonstrations. To address these limitations, we introduce Watch & Learn (W&L), a framework that converts human demonstration videos readily available on the Internet into executable UI trajectories at scale. Instead of directly generating trajectories or relying on ad hoc reasoning heuristics, we cast the problem as an inverse dynamics objective: predicting the user's action from consecutive screen states. This formulation reduces manual engineering, is easier to learn, and generalizes more robustly across applications. Concretely, we develop an inverse dynamics labeling pipeline with task-aware video retrieval, generate over 53k high-quality trajectories from raw web videos, and demonstrate that these trajectories improve CUAs both as in-context demonstrations and as supervised training data. On the challenging OSWorld benchmark, UI trajectories extracted with W&L consistently enhance both general-purpose and state-of-the-art frameworks in-context, and deliver stronger gains for open-source models under supervised training. These results highlight web-scale human demonstration videos as a practical and scalable foundation for advancing CUAs towards real-world deployment.