Beobachten und Lernen: Computernutzung durch Online-Videos erlernen

papers.abstract

Computer Use Agents (CUAs) müssen Arbeitsabläufe planen, die in vielfältigen und sich ständig ändernden Anwendungen und Umgebungen verankert sind. Das Lernen wird jedoch durch den Mangel an groß angelegten, hochwertigen Trainingsdaten in der Zielanwendung erschwert. Bestehende Datensätze sind domänenspezifisch, statisch und kostspielig zu annotieren, während aktuelle Methoden zur synthetischen Datengenerierung oft vereinfachte oder fehlausgerichtete Aufgabenbeispiele liefern. Um diese Einschränkungen zu überwinden, stellen wir Watch & Learn (W&L) vor, ein Framework, das menschliche Demonstrationsvideos, die im Internet leicht verfügbar sind, in ausführbare UI-Trajektorien in großem Maßstab umwandelt. Anstatt Trajektorien direkt zu generieren oder auf ad-hoc-Heuristiken zu setzen, formulieren wir das Problem als ein inverses Dynamik-Ziel: die Vorhersage der Benutzeraktion aus aufeinanderfolgenden Bildschirmzuständen. Dieser Ansatz reduziert den manuellen Aufwand, ist leichter zu erlernen und verallgemeinert robuster über verschiedene Anwendungen hinweg. Konkret entwickeln wir eine inverse Dynamik-Beschriftungspipeline mit aufgabenbewusster Video-Retrieval, generieren über 53.000 hochwertige Trajektorien aus Rohvideos des Webs und zeigen, dass diese Trajektorien CUAs sowohl als In-Context-Demonstrationen als auch als überwachte Trainingsdaten verbessern. Auf dem anspruchsvollen OSWorld-Benchmark verbessern mit W&L extrahierte UI-Trajektorien sowohl allgemeine als auch state-of-the-art-Frameworks im In-Context-Bereich und erzielen stärkere Gewinne für Open-Source-Modelle im überwachten Training. Diese Ergebnisse unterstreichen, dass web-skalierte menschliche Demonstrationsvideos eine praktische und skalierbare Grundlage für die Weiterentwicklung von CUAs hin zum realen Einsatz darstellen.

English

Computer use agents (CUAs) need to plan task workflows grounded in diverse, ever-changing applications and environments, but learning is hindered by the scarcity of large-scale, high-quality training data in the target application. Existing datasets are domain-specific, static, and costly to annotate, while current synthetic data generation methods often yield simplistic or misaligned task demonstrations. To address these limitations, we introduce Watch & Learn (W&L), a framework that converts human demonstration videos readily available on the Internet into executable UI trajectories at scale. Instead of directly generating trajectories or relying on ad hoc reasoning heuristics, we cast the problem as an inverse dynamics objective: predicting the user's action from consecutive screen states. This formulation reduces manual engineering, is easier to learn, and generalizes more robustly across applications. Concretely, we develop an inverse dynamics labeling pipeline with task-aware video retrieval, generate over 53k high-quality trajectories from raw web videos, and demonstrate that these trajectories improve CUAs both as in-context demonstrations and as supervised training data. On the challenging OSWorld benchmark, UI trajectories extracted with W&L consistently enhance both general-purpose and state-of-the-art frameworks in-context, and deliver stronger gains for open-source models under supervised training. These results highlight web-scale human demonstration videos as a practical and scalable foundation for advancing CUAs towards real-world deployment.

Beobachten und Lernen: Computernutzung durch Online-Videos erlernen

Watch and Learn: Learning to Use Computers from Online Videos

papers.abstract

Support