Regarder et Apprendre : Apprendre à Utiliser les Ordinateurs à Partir de Vidéos en Ligne

Watch and Learn: Learning to Use Computers from Online Videos

October 6, 2025

papers.authors: Chan Hee Song, Yiwen Song, Palash Goyal, Yu Su, Oriana Riva, Hamid Palangi, Tomas Pfister

cs.AI

papers.abstract

Les agents d'utilisation informatique (CUAs) doivent planifier des flux de travail basés sur des applications et des environnements divers et en constante évolution, mais l'apprentissage est entravé par la rareté de données d'entraînement à grande échelle et de haute qualité dans l'application cible. Les ensembles de données existants sont spécifiques à un domaine, statiques et coûteux à annoter, tandis que les méthodes actuelles de génération de données synthétiques produisent souvent des démonstrations de tâches simplistes ou mal alignées. Pour surmonter ces limitations, nous introduisons Watch & Learn (W&L), un cadre qui transforme des vidéos de démonstrations humaines facilement disponibles sur Internet en trajectoires d'interface utilisateur (UI) exécutables à grande échelle. Au lieu de générer directement des trajectoires ou de s'appuyer sur des heuristiques de raisonnement ad hoc, nous formulons le problème comme un objectif de dynamique inverse : prédire l'action de l'utilisateur à partir d'états d'écran consécutifs. Cette formulation réduit l'ingénierie manuelle, est plus facile à apprendre et généralise de manière plus robuste à travers les applications. Concrètement, nous développons un pipeline d'étiquetage de dynamique inverse avec une récupération de vidéos consciente des tâches, générons plus de 53 000 trajectoires de haute qualité à partir de vidéos web brutes, et démontrons que ces trajectoires améliorent les CUAs à la fois comme démonstrations en contexte et comme données d'entraînement supervisées. Sur le benchmark exigeant d'OSWorld, les trajectoires d'UI extraites avec W&L améliorent systématiquement les cadres généraux et de pointe en contexte, et offrent des gains plus importants pour les modèles open source sous entraînement supervisé. Ces résultats mettent en évidence les vidéos de démonstrations humaines à l'échelle du web comme une base pratique et évolutive pour faire progresser les CUAs vers un déploiement dans le monde réel.

English

Computer use agents (CUAs) need to plan task workflows grounded in diverse, ever-changing applications and environments, but learning is hindered by the scarcity of large-scale, high-quality training data in the target application. Existing datasets are domain-specific, static, and costly to annotate, while current synthetic data generation methods often yield simplistic or misaligned task demonstrations. To address these limitations, we introduce Watch & Learn (W&L), a framework that converts human demonstration videos readily available on the Internet into executable UI trajectories at scale. Instead of directly generating trajectories or relying on ad hoc reasoning heuristics, we cast the problem as an inverse dynamics objective: predicting the user's action from consecutive screen states. This formulation reduces manual engineering, is easier to learn, and generalizes more robustly across applications. Concretely, we develop an inverse dynamics labeling pipeline with task-aware video retrieval, generate over 53k high-quality trajectories from raw web videos, and demonstrate that these trajectories improve CUAs both as in-context demonstrations and as supervised training data. On the challenging OSWorld benchmark, UI trajectories extracted with W&L consistently enhance both general-purpose and state-of-the-art frameworks in-context, and deliver stronger gains for open-source models under supervised training. These results highlight web-scale human demonstration videos as a practical and scalable foundation for advancing CUAs towards real-world deployment.