ActiveMimic: Эгоцентрическое предобучение видео с активным восприятием

Аннотация

Эгоцентрическое видео человека предлагает масштабируемую альтернативу данным роботов для предварительного обучения, однако модели, предварительно обученные на таком видео, последовательно уступают моделям, предварительно обученным на данных роботов. Мы объясняем этот разрыв отсутствием сигнала – активного перцептивного поведения в эгоцентрических видео, где люди непрерывно изменяют положение точки обзора во время манипуляции, вызывая движение камеры, которое стандартные конвейеры рассматривают как шум. Для решения этой проблемы мы представляем ActiveMimic – фреймворк предварительного обучения, который восстанавливает синхронизированные траектории камеры и запястья по данным с одной носимой на теле RGB-камеры, моделирует движение камеры как действие точки обзора и совместно обучает активному восприятию и манипуляции на основе эгоцентрического видео человека в естественных условиях перед адаптацией к целевому роботу. Эмпирически, эксперименты в реальном мире на задачах с различными требованиями к активному восприятию показывают, что ActiveMimic последовательно превосходит базовые модели, предварительно обученные на видео человека, и соответствует современным моделям, предварительно обученным на данных роботов. Дальнейший анализ предоставляет доказательства того, что способность к активному восприятию возникает в результате предварительного обучения на эгоцентрическом видео человека, а не в результате тонкой настройки под конкретного робота, подтверждая, что активное восприятие является ключом к раскрытию потенциала эгоцентрического видео человека для предварительного обучения роботов.

English

Egocentric human video offers a scalable alternative to robot data for pretraining, yet models pretrained on such video consistently underperform those pretrained on robot data. We attribute this gap to a missing signal, the active perception behavior in egocentric videos, where humans continuously reposition their viewpoint during manipulation, inducing camera motion that standard pipelines treat as noise. To address this, we present ActiveMimic, a pretraining framework that recovers synchronized camera and wrist trajectories from a single body-worn RGB camera, models camera motion as a viewpoint action, and jointly learns active perception and manipulation from in-the-wild egocentric human video before adapting to a target robot. Empirically, real-world experiments across tasks with diverse active perception demands show that ActiveMimic consistently surpasses baselines pretrained on human video and matches state-of-the-art models pretrained on robot data. Further analysis provides evidence that active perception capability originates from egocentric human video pretraining rather than robot-specific fine-tuning, confirming active perception as the key to unlocking egocentric human video for robot pretraining.