Смотри и учись: Освоение работы с компьютерами с помощью онлайн-видео

Watch and Learn: Learning to Use Computers from Online Videos

October 6, 2025

Авторы: Chan Hee Song, Yiwen Song, Palash Goyal, Yu Su, Oriana Riva, Hamid Palangi, Tomas Pfister

cs.AI

Аннотация

Компьютерные агенты (CUAs) должны планировать рабочие процессы задач, основанные на разнообразных и постоянно меняющихся приложениях и средах, но обучение затруднено из-за нехватки крупномасштабных, высококачественных обучающих данных в целевой области. Существующие наборы данных являются узкоспециализированными, статичными и дорогостоящими для аннотирования, в то время как текущие методы генерации синтетических данных часто дают упрощённые или несоответствующие демонстрации задач. Чтобы устранить эти ограничения, мы представляем Watch & Learn (W&L) — фреймворк, который преобразует видеодемонстрации людей, доступные в Интернете, в исполняемые траектории взаимодействия с пользовательским интерфейсом (UI) в масштабе. Вместо прямого создания траекторий или использования эвристик ad hoc, мы формулируем задачу как цель обратной динамики: предсказание действия пользователя на основе последовательных состояний экрана. Такой подход снижает необходимость ручной разработки, упрощает обучение и обеспечивает более устойчивую обобщаемость между приложениями. Конкретно, мы разрабатываем конвейер аннотирования обратной динамики с извлечением видео, учитывающим задачи, генерируем более 53 тысяч высококачественных траекторий из необработанных веб-видео и показываем, что эти траектории улучшают CUAs как в контексте демонстраций, так и в качестве данных для обучения с учителем. На сложном бенчмарке OSWorld траектории UI, извлечённые с помощью W&L, последовательно улучшают как универсальные, так и передовые фреймворки в контексте, а также обеспечивают более значительный прирост для моделей с открытым исходным кодом при обучении с учителем. Эти результаты подчеркивают, что видеодемонстрации людей в масштабе Интернета представляют собой практичную и масштабируемую основу для продвижения CUAs к реальному внедрению.

English

Computer use agents (CUAs) need to plan task workflows grounded in diverse, ever-changing applications and environments, but learning is hindered by the scarcity of large-scale, high-quality training data in the target application. Existing datasets are domain-specific, static, and costly to annotate, while current synthetic data generation methods often yield simplistic or misaligned task demonstrations. To address these limitations, we introduce Watch & Learn (W&L), a framework that converts human demonstration videos readily available on the Internet into executable UI trajectories at scale. Instead of directly generating trajectories or relying on ad hoc reasoning heuristics, we cast the problem as an inverse dynamics objective: predicting the user's action from consecutive screen states. This formulation reduces manual engineering, is easier to learn, and generalizes more robustly across applications. Concretely, we develop an inverse dynamics labeling pipeline with task-aware video retrieval, generate over 53k high-quality trajectories from raw web videos, and demonstrate that these trajectories improve CUAs both as in-context demonstrations and as supervised training data. On the challenging OSWorld benchmark, UI trajectories extracted with W&L consistently enhance both general-purpose and state-of-the-art frameworks in-context, and deliver stronger gains for open-source models under supervised training. These results highlight web-scale human demonstration videos as a practical and scalable foundation for advancing CUAs towards real-world deployment.