ActiveMimic: egocentrische videopretraining met actieve perceptie

Samenvatting

Egocentrische menselijke video biedt een schaalbare alternatief voor robotdata bij pretraining, maar modellen die op dergelijke video zijn voorgetraind, presteren consequent slechter dan modellen die op robotdata zijn voorgetraind. We wijten deze kloof aan een ontbrekend signaal: het actieve perceptiegedrag in egocentrische video’s, waarbij mensen tijdens manipulatie continu hun gezichtspunt verplaatsen, wat camerabeweging veroorzaakt die door standaardpijplijnen als ruis wordt behandeld. Om dit aan te pakken presenteren we ActiveMimic, een pretrainingframework dat gesynchroniseerde camera- en polstrajectorieën herstelt uit één enkele op het lichaam gedragen RGB-camera, camerabeweging modelleert als een gezichtspuntactie, en gezamenlijk actieve perceptie en manipulatie leert uit egocentrische menselijke video in het wild, alvorens aan te passen aan een doelrobot. Empirisch tonen praktijkexperimenten over taken met uiteenlopende eisen aan actieve perceptie aan dat ActiveMimic consequent baselines overtreft die op menselijke video zijn voorgetraind, en overeenkomt met state-of-the-art modellen die op robotdata zijn voorgetraind. Verdere analyse levert bewijs dat actieve perceptievermogen afkomstig is van pretraining op egocentrische menselijke video, niet van robotspecifieke finetuning, waarmee wordt bevestigd dat actieve perceptie de sleutel is om egocentrische menselijke video te ontsluiten voor robotpretraining.

English

Egocentric human video offers a scalable alternative to robot data for pretraining, yet models pretrained on such video consistently underperform those pretrained on robot data. We attribute this gap to a missing signal, the active perception behavior in egocentric videos, where humans continuously reposition their viewpoint during manipulation, inducing camera motion that standard pipelines treat as noise. To address this, we present ActiveMimic, a pretraining framework that recovers synchronized camera and wrist trajectories from a single body-worn RGB camera, models camera motion as a viewpoint action, and jointly learns active perception and manipulation from in-the-wild egocentric human video before adapting to a target robot. Empirically, real-world experiments across tasks with diverse active perception demands show that ActiveMimic consistently surpasses baselines pretrained on human video and matches state-of-the-art models pretrained on robot data. Further analysis provides evidence that active perception capability originates from egocentric human video pretraining rather than robot-specific fine-tuning, confirming active perception as the key to unlocking egocentric human video for robot pretraining.