ActiveMimic: Pré-treinamento de Vídeo Egocêntrico com Percepção Ativa

Resumo

Vídeos humanos egocêntricos oferecem uma alternativa escalável aos dados de robôs para pré-treinamento, porém modelos pré-treinados com esses vídeos consistentemente apresentam desempenho inferior àqueles pré-treinados com dados de robôs. Atribuímos essa lacuna a um sinal ausente: o comportamento de percepção ativa em vídeos egocêntricos, onde humanos reposicionam continuamente seu ponto de vista durante a manipulação, induzindo movimento de câmera que pipelines padrão tratam como ruído. Para solucionar isso, apresentamos o ActiveMimic, uma estrutura de pré-treinamento que recupera trajetórias sincronizadas de câmera e punho a partir de uma única câmera RGB corporal, modela o movimento da câmera como uma ação de ponto de vista e aprende conjuntamente percepção ativa e manipulação a partir de vídeos humanos egocêntricos em ambiente não controlado, antes de se adaptar a um robô alvo. Empiricamente, experimentos no mundo real em tarefas com demandas diversas de percepção ativa mostram que o ActiveMimic supera consistentemente as linhas de base pré-treinadas com vídeos humanos e equivale a modelos de última geração pré-treinados com dados de robôs. Análises adicionais fornecem evidências de que a capacidade de percepção ativa se origina do pré-treinamento com vídeos humanos egocêntricos, e não do ajuste fino específico para robôs, confirmando a percepção ativa como a chave para destravar o uso de vídeos humanos egocêntricos no pré-treinamento de robôs.

English

Egocentric human video offers a scalable alternative to robot data for pretraining, yet models pretrained on such video consistently underperform those pretrained on robot data. We attribute this gap to a missing signal, the active perception behavior in egocentric videos, where humans continuously reposition their viewpoint during manipulation, inducing camera motion that standard pipelines treat as noise. To address this, we present ActiveMimic, a pretraining framework that recovers synchronized camera and wrist trajectories from a single body-worn RGB camera, models camera motion as a viewpoint action, and jointly learns active perception and manipulation from in-the-wild egocentric human video before adapting to a target robot. Empirically, real-world experiments across tasks with diverse active perception demands show that ActiveMimic consistently surpasses baselines pretrained on human video and matches state-of-the-art models pretrained on robot data. Further analysis provides evidence that active perception capability originates from egocentric human video pretraining rather than robot-specific fine-tuning, confirming active perception as the key to unlocking egocentric human video for robot pretraining.