H2R-Grounder: Um Paradigma sem Dados Emparelhados para Traduzir Vídeos de Interação Humana em Vídeos de Robôs Fisicamente Fundamentados

H2R-Grounder: A Paired-Data-Free Paradigm for Translating Human Interaction Videos into Physically Grounded Robot Videos

December 10, 2025

Autores: Hai Ci, Xiaokang Liu, Pei Yang, Yiren Song, Mike Zheng Shou

cs.AI

Resumo

Robôs que aprendem habilidades de manipulação a partir de vídeos humanos cotidianos poderiam adquirir capacidades amplas sem a tediosa coleta de dados robóticos. Propomos uma estrutura de tradução de vídeo para vídeo que converte vídeos comuns de interação humano-objeto em vídeos de manipulação robótica com movimento consistente e interações realistas e fisicamente fundamentadas. Nossa abordagem não requer quaisquer vídeos pareados humano-robô para treinamento, apenas um conjunto de vídeos robóticos não pareados, tornando o sistema fácil de escalar. Introduzimos uma representação transferível que preenche a lacuna de corporificação: ao reconstituir o braço do robô nos vídeos de treinamento para obter um plano de fundo limpo e sobrepor uma pista visual simples (um marcador e uma seta indicando a posição e orientação da garra), podemos condicionar um modelo generativo para reinserir o braço do robô na cena. No momento do teste, aplicamos o mesmo processo aos vídeos humanos (reconstituindo a pessoa e sobrepondo pistas de pose humana) e geramos vídeos robóticos de alta qualidade que imitam as ações humanas. Ajustamos um modelo de difusão de vídeo estado da arte (Wan 2.2) de maneira contextual para garantir coerência temporal e aproveitar seu rico conhecimento prévio. Resultados empíricos demonstram que nossa abordagem alcança movimentos robóticos significativamente mais realistas e fundamentados em comparação com as linhas de base, apontando para uma direção promissora para ampliar o aprendizado de robôs a partir de vídeos humanos não rotulados. Página do projeto: https://showlab.github.io/H2R-Grounder/

English

Robots that learn manipulation skills from everyday human videos could acquire broad capabilities without tedious robot data collection. We propose a video-to-video translation framework that converts ordinary human-object interaction videos into motion-consistent robot manipulation videos with realistic, physically grounded interactions. Our approach does not require any paired human-robot videos for training only a set of unpaired robot videos, making the system easy to scale. We introduce a transferable representation that bridges the embodiment gap: by inpainting the robot arm in training videos to obtain a clean background and overlaying a simple visual cue (a marker and arrow indicating the gripper's position and orientation), we can condition a generative model to insert the robot arm back into the scene. At test time, we apply the same process to human videos (inpainting the person and overlaying human pose cues) and generate high-quality robot videos that mimic the human's actions. We fine-tune a SOTA video diffusion model (Wan 2.2) in an in-context learning manner to ensure temporal coherence and leveraging of its rich prior knowledge. Empirical results demonstrate that our approach achieves significantly more realistic and grounded robot motions compared to baselines, pointing to a promising direction for scaling up robot learning from unlabeled human videos. Project page: https://showlab.github.io/H2R-Grounder/