ActiveMimic : Pré-entraînement vidéo égocentrique avec perception active

Résumé

La vidéo humaine égocentrique offre une alternative scalable aux données robotiques pour le pré-entraînement, pourtant les modèles pré-entraînés sur ces vidéos sous-performent systématiquement ceux pré-entraînés sur des données robotiques. Nous attribuons cet écart à un signal manquant : le comportement de perception active dans les vidéos égocentriques, où les humains repositionnent continuellement leur point de vue lors de la manipulation, induisant un mouvement de caméra que les pipelines standards traitent comme du bruit. Pour y remédier, nous présentons ActiveMimic, un cadre de pré-entraînement qui récupère des trajectoires synchronisées de la caméra et du poignet à partir d’une seule caméra RGB portée sur le corps, modélise le mouvement de la caméra comme une action de point de vue, et apprend conjointement la perception active et la manipulation à partir de vidéos humaines égocentriques en conditions réelles avant de s’adapter à un robot cible. Empiriquement, des expériences en conditions réelles sur des tâches aux exigences diverses en perception active montrent qu’ActiveMimic surpasse systématiquement les bases pré-entraînées sur vidéo humaine et égale les modèles de pointe pré-entraînés sur données robotiques. Des analyses supplémentaires fournissent la preuve que la capacité de perception active provient du pré-entraînement sur vidéo humaine égocentrique plutôt que du réglage fin spécifique au robot, confirmant ainsi la perception active comme la clé pour exploiter la vidéo humaine égocentrique dans le pré-entraînement robotique.

English

Egocentric human video offers a scalable alternative to robot data for pretraining, yet models pretrained on such video consistently underperform those pretrained on robot data. We attribute this gap to a missing signal, the active perception behavior in egocentric videos, where humans continuously reposition their viewpoint during manipulation, inducing camera motion that standard pipelines treat as noise. To address this, we present ActiveMimic, a pretraining framework that recovers synchronized camera and wrist trajectories from a single body-worn RGB camera, models camera motion as a viewpoint action, and jointly learns active perception and manipulation from in-the-wild egocentric human video before adapting to a target robot. Empirically, real-world experiments across tasks with diverse active perception demands show that ActiveMimic consistently surpasses baselines pretrained on human video and matches state-of-the-art models pretrained on robot data. Further analysis provides evidence that active perception capability originates from egocentric human video pretraining rather than robot-specific fine-tuning, confirming active perception as the key to unlocking egocentric human video for robot pretraining.