ActiveMimic: pretraining de vídeo egocéntrico con percepción activa

Resumen

El video humano egocéntrico ofrece una alternativa escalable a los datos de robots para el preentrenamiento; sin embargo, los modelos preentrenados con dicho video obtienen consistentemente un rendimiento inferior a aquellos preentrenados con datos de robots. Atribuimos esta brecha a una señal faltante: el comportamiento de percepción activa en los videos egocéntricos, donde los humanos reposicionan continuamente su punto de vista durante la manipulación, induciendo un movimiento de cámara que los pipelines estándar tratan como ruido. Para abordar esto, presentamos ActiveMimic, un marco de preentrenamiento que recupera trayectorias sincronizadas de cámara y muñeca a partir de una única cámara RGB corporal, modela el movimiento de la cámara como una acción de punto de vista y aprende conjuntamente percepción activa y manipulación a partir de video humano egocéntrico en entornos reales antes de adaptarse a un robot objetivo. Empíricamente, experimentos en el mundo real a través de tareas con diversas demandas de percepción activa muestran que ActiveMimic supera consistentemente a las líneas base preentrenadas con video humano e iguala a los modelos de última generación preentrenados con datos de robots. Análisis adicionales proporcionan evidencia de que la capacidad de percepción activa se origina en el preentrenamiento con video humano egocéntrico, y no en el ajuste fino específico del robot, confirmando que la percepción activa es la clave para aprovechar el video humano egocéntrico en el preentrenamiento de robots.

English

Egocentric human video offers a scalable alternative to robot data for pretraining, yet models pretrained on such video consistently underperform those pretrained on robot data. We attribute this gap to a missing signal, the active perception behavior in egocentric videos, where humans continuously reposition their viewpoint during manipulation, inducing camera motion that standard pipelines treat as noise. To address this, we present ActiveMimic, a pretraining framework that recovers synchronized camera and wrist trajectories from a single body-worn RGB camera, models camera motion as a viewpoint action, and jointly learns active perception and manipulation from in-the-wild egocentric human video before adapting to a target robot. Empirically, real-world experiments across tasks with diverse active perception demands show that ActiveMimic consistently surpasses baselines pretrained on human video and matches state-of-the-art models pretrained on robot data. Further analysis provides evidence that active perception capability originates from egocentric human video pretraining rather than robot-specific fine-tuning, confirming active perception as the key to unlocking egocentric human video for robot pretraining.