OmniRetarget: Interactiebehoudende Datageneratie voor Mensachtige Loco-Manipulatie en Scène-interactie van het Hele Lichaam

OmniRetarget: Interaction-Preserving Data Generation for Humanoid Whole-Body Loco-Manipulation and Scene Interaction

September 30, 2025

Auteurs: Lujie Yang, Xiaoyu Huang, Zhen Wu, Angjoo Kanazawa, Pieter Abbeel, Carmelo Sferrazza, C. Karen Liu, Rocky Duan, Guanya Shi

cs.AI

Samenvatting

Een dominant paradigma voor het aanleren van complexe vaardigheden aan humanoïde robots is het hertargetten van menselijke bewegingen als kinematische referenties om reinforcement learning (RL)-beleidsregels te trainen. Bestaande hertargettingspijplijnen hebben echter vaak moeite met de aanzienlijke belichamingskloof tussen mensen en robots, wat resulteert in fysiek onwaarschijnlijke artefacten zoals voetglijden en penetratie. Belangrijker is dat veelgebruikte hertargettingsmethoden de rijke mens-object en mens-omgeving interacties negeren die essentieel zijn voor expressieve voortbeweging en loco-manipulatie. Om dit aan te pakken, introduceren we OmniRetarget, een interactiebehoudende data-generatie-engine gebaseerd op een interactierooster dat expliciet de cruciale ruimtelijke en contactrelaties tussen een agent, het terrein en gemanipuleerde objecten modelleert en behoudt. Door de Laplaciaanse vervorming tussen de menselijke en robotroosters te minimaliseren terwijl kinematische beperkingen worden afgedwongen, genereert OmniRetarget kinematisch haalbare trajecten. Bovendien maakt het behoud van taakrelevante interacties efficiënte data-augmentatie mogelijk, van een enkele demonstratie naar verschillende robotbelichamingen, terreinen en objectconfiguraties. We evalueren OmniRetarget uitgebreid door bewegingen te hertargetten van OMOMO, LAFAN1 en onze eigen MoCap-datasets, waarbij we meer dan 8 uur aan trajecten genereren die betere kinematische beperkingsvoldoening en contactbehoud bereiken dan veelgebruikte referentiemethoden. Dergelijke hoogwaardige data stelt proprioceptieve RL-beleidsregels in staat om langdurige (tot 30 seconden) parkour- en loco-manipulatievaardigheden succesvol uit te voeren op een Unitree G1 humanoïde, getraind met slechts 5 beloningstermen en eenvoudige domeinrandomisatie die voor alle taken wordt gedeeld, zonder enig leercurriculum.

English

A dominant paradigm for teaching humanoid robots complex skills is to retarget human motions as kinematic references to train reinforcement learning (RL) policies. However, existing retargeting pipelines often struggle with the significant embodiment gap between humans and robots, producing physically implausible artifacts like foot-skating and penetration. More importantly, common retargeting methods neglect the rich human-object and human-environment interactions essential for expressive locomotion and loco-manipulation. To address this, we introduce OmniRetarget, an interaction-preserving data generation engine based on an interaction mesh that explicitly models and preserves the crucial spatial and contact relationships between an agent, the terrain, and manipulated objects. By minimizing the Laplacian deformation between the human and robot meshes while enforcing kinematic constraints, OmniRetarget generates kinematically feasible trajectories. Moreover, preserving task-relevant interactions enables efficient data augmentation, from a single demonstration to different robot embodiments, terrains, and object configurations. We comprehensively evaluate OmniRetarget by retargeting motions from OMOMO, LAFAN1, and our in-house MoCap datasets, generating over 8-hour trajectories that achieve better kinematic constraint satisfaction and contact preservation than widely used baselines. Such high-quality data enables proprioceptive RL policies to successfully execute long-horizon (up to 30 seconds) parkour and loco-manipulation skills on a Unitree G1 humanoid, trained with only 5 reward terms and simple domain randomization shared by all tasks, without any learning curriculum.