OmniRetarget: Geração de Dados com Preservação de Interação para Locomoção-Manipulação de Corpo Inteiro Humanóide e Interação com Cenas

OmniRetarget: Interaction-Preserving Data Generation for Humanoid Whole-Body Loco-Manipulation and Scene Interaction

September 30, 2025

Autores: Lujie Yang, Xiaoyu Huang, Zhen Wu, Angjoo Kanazawa, Pieter Abbeel, Carmelo Sferrazza, C. Karen Liu, Rocky Duan, Guanya Shi

cs.AI

Resumo

Um paradigma dominante para ensinar habilidades complexas a robôs humanoides é retargetar movimentos humanos como referências cinemáticas para treinar políticas de aprendizado por reforço (RL). No entanto, os pipelines de retargeting existentes frequentemente enfrentam dificuldades com a significativa lacuna de embodiment entre humanos e robôs, produzindo artefatos fisicamente implausíveis, como deslizamento dos pés e penetração. Mais importante ainda, os métodos comuns de retargeting negligenciam as ricas interações humano-objeto e humano-ambiente, essenciais para locomoção expressiva e loco-manipulação. Para resolver isso, apresentamos o OmniRetarget, um motor de geração de dados que preserva interações, baseado em uma malha de interação que modela e preserva explicitamente as relações espaciais e de contato cruciais entre um agente, o terreno e objetos manipulados. Ao minimizar a deformação Laplaciana entre as malhas humana e robótica, enquanto impõe restrições cinemáticas, o OmniRetarget gera trajetórias cinematicamente viáveis. Além disso, preservar interações relevantes para a tarefa permite uma ampliação eficiente dos dados, de uma única demonstração para diferentes embodimentos de robôs, terrenos e configurações de objetos. Avaliamos de forma abrangente o OmniRetarget retargetando movimentos dos conjuntos de dados OMOMO, LAFAN1 e nosso conjunto de dados interno de captura de movimento (MoCap), gerando mais de 8 horas de trajetórias que alcançam melhor satisfação de restrições cinemáticas e preservação de contato em comparação com baselines amplamente utilizados. Esses dados de alta qualidade permitem que políticas de RL proprioceptivas executem com sucesso habilidades de parkour e loco-manipulação de longo horizonte (até 30 segundos) em um humanoide Unitree G1, treinadas com apenas 5 termos de recompensa e uma simples randomização de domínio compartilhada por todas as tarefas, sem qualquer currículo de aprendizado.

English

A dominant paradigm for teaching humanoid robots complex skills is to retarget human motions as kinematic references to train reinforcement learning (RL) policies. However, existing retargeting pipelines often struggle with the significant embodiment gap between humans and robots, producing physically implausible artifacts like foot-skating and penetration. More importantly, common retargeting methods neglect the rich human-object and human-environment interactions essential for expressive locomotion and loco-manipulation. To address this, we introduce OmniRetarget, an interaction-preserving data generation engine based on an interaction mesh that explicitly models and preserves the crucial spatial and contact relationships between an agent, the terrain, and manipulated objects. By minimizing the Laplacian deformation between the human and robot meshes while enforcing kinematic constraints, OmniRetarget generates kinematically feasible trajectories. Moreover, preserving task-relevant interactions enables efficient data augmentation, from a single demonstration to different robot embodiments, terrains, and object configurations. We comprehensively evaluate OmniRetarget by retargeting motions from OMOMO, LAFAN1, and our in-house MoCap datasets, generating over 8-hour trajectories that achieve better kinematic constraint satisfaction and contact preservation than widely used baselines. Such high-quality data enables proprioceptive RL policies to successfully execute long-horizon (up to 30 seconds) parkour and loco-manipulation skills on a Unitree G1 humanoid, trained with only 5 reward terms and simple domain randomization shared by all tasks, without any learning curriculum.