OmniRetarget: Generazione di Dati che Preserva l'Interazione per la Loco-Manipolazione Corporea e l'Interazione con la Scena nei Robot Umanoidi

OmniRetarget: Interaction-Preserving Data Generation for Humanoid Whole-Body Loco-Manipulation and Scene Interaction

September 30, 2025

Autori: Lujie Yang, Xiaoyu Huang, Zhen Wu, Angjoo Kanazawa, Pieter Abbeel, Carmelo Sferrazza, C. Karen Liu, Rocky Duan, Guanya Shi

cs.AI

Abstract

Un paradigma dominante per insegnare abilità complesse ai robot umanoidi consiste nel riorientare i movimenti umani come riferimenti cinematici per addestrare politiche di apprendimento per rinforzo (RL). Tuttavia, le pipeline esistenti di riorientamento spesso incontrano difficoltà a causa del significativo divario di incarnazione tra umani e robot, producendo artefatti fisicamente implausibili come lo scivolamento dei piedi e le penetrazioni. Ancora più importante, i metodi comuni di riorientamento trascurano le ricche interazioni umano-oggetto e umano-ambiente essenziali per una locomozione e una loco-manipolazione espressive. Per affrontare questo problema, introduciamo OmniRetarget, un motore di generazione dati che preserva le interazioni basato su una mesh di interazione che modella esplicitamente e preserva le cruciali relazioni spaziali e di contatto tra un agente, il terreno e gli oggetti manipolati. Minimizzando la deformazione Laplaciana tra le mesh umane e robotiche mentre si applicano vincoli cinematici, OmniRetarget genera traiettorie cinematicamente fattibili. Inoltre, preservare le interazioni rilevanti per il compito consente un'efficiente augmentazione dei dati, da una singola dimostrazione a diverse incarnazioni robotiche, terreni e configurazioni di oggetti. Valutiamo in modo completo OmniRetarget riorientando movimenti dai dataset OMOMO, LAFAN1 e dal nostro dataset MoCap interno, generando traiettorie di oltre 8 ore che raggiungono una migliore soddisfazione dei vincoli cinematici e una migliore preservazione dei contatti rispetto alle baseline ampiamente utilizzate. Tali dati di alta qualità consentono alle politiche RL propriocettive di eseguire con successo abilità di parkour e loco-manipolazione a lungo termine (fino a 30 secondi) su un umanoide Unitree G1, addestrate con solo 5 termini di ricompensa e una semplice randomizzazione del dominio condivisa da tutti i compiti, senza alcun curriculum di apprendimento.

English

A dominant paradigm for teaching humanoid robots complex skills is to retarget human motions as kinematic references to train reinforcement learning (RL) policies. However, existing retargeting pipelines often struggle with the significant embodiment gap between humans and robots, producing physically implausible artifacts like foot-skating and penetration. More importantly, common retargeting methods neglect the rich human-object and human-environment interactions essential for expressive locomotion and loco-manipulation. To address this, we introduce OmniRetarget, an interaction-preserving data generation engine based on an interaction mesh that explicitly models and preserves the crucial spatial and contact relationships between an agent, the terrain, and manipulated objects. By minimizing the Laplacian deformation between the human and robot meshes while enforcing kinematic constraints, OmniRetarget generates kinematically feasible trajectories. Moreover, preserving task-relevant interactions enables efficient data augmentation, from a single demonstration to different robot embodiments, terrains, and object configurations. We comprehensively evaluate OmniRetarget by retargeting motions from OMOMO, LAFAN1, and our in-house MoCap datasets, generating over 8-hour trajectories that achieve better kinematic constraint satisfaction and contact preservation than widely used baselines. Such high-quality data enables proprioceptive RL policies to successfully execute long-horizon (up to 30 seconds) parkour and loco-manipulation skills on a Unitree G1 humanoid, trained with only 5 reward terms and simple domain randomization shared by all tasks, without any learning curriculum.